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间 。 
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。 你 可 以 在 http://wirtel.be/ 或 通过 推 特 @matrixise 找 到 他 。 
目前 ， 他 在 Mgx.10 任 职 ， 这 是 一 家 专门 从 事 Python 和 和 Erlang 开发 的 公司 。 你 可 以 在 http://mgx.io/ 或 通过 推 特 @mgxio 找 


M EH 
| 这 家 公司 。 他 还 评审 了 《Getting Started with PhantomJS) #7 (PhantomJS Cookbook》， 这 两 本 书 均 由 Packt 出 版 宪 出 


版 。 
我 要 感谢 我 的 妻子 Anne 和 我 的 女儿 Margaux， 以 及 我 的 家 人 和 朋友 的 文 持 ， 同 时 也 感谢 PostgreSQL 和 Python 社区 的 优秀 


TR, 
BU E 
PostgreSQL 是 一 个 极其 灵活 且 可 靠 的 开源 关系 型 数据 库 。 借 助 它 的 这 般 神 奇 功能 ， 可 以 在 不 增加 任何 费用 的 情况 下 ， 将 应 
用 程序 变 得 更 加 可 靠 和 更 具 扩 展 性 。 一 旦 掌握 了 如 何 设置 PostgreSQL 并 利用 它 的 高 级 功能 ， 便 可 节省 工时 ， 提 高 工作 效率 。 
运行 一 个 可 扩展 且 已 经 优化 的 PostgreSQL 服 务 器 。 


本 书 将 教 你 如 何 构建 及 运行 一 
全 书 始 于 基本 概念 (例如 从 源 代 码 中 安 妆 PostgreSQL) ， 并 逐渐 深入 理论 部 分 〈 例 如 并 及 性 和 事务 管理 ) 。 在 此 之 后 ， 你 


将 学 习 如 何 设置 副本 、 使 用 负载 均衡 进行 水 平 扩展 以 及 排除 故障 。 
继续 阅读 本 书 ， 你 将 看 到 配置 参数 对 性 能 、 可 扩 展 性 以 及 事务 管理 所 产生 的 显 者 影响 。 最 后 ， 你 将 接触 到 PostgreSQL 生 态 


系统 中 那些 有 用 的 工具 ， 它 们 用 来 分 析 PostgreSQL 日 志 、 设 置 负载 均衡 和 恢复 数据 。 


本 书 主 要 内 容 
第 1 章 概括 性 地 介绍 如 何 从 源 代码 中 安 浴 PostgreSQL。 该 草 内 容 列 举 了 从 源 代码 中 进行 编译 的 先决 条 件 ， 并 说 明了 如 何在 
UNIX/Linux 环 境 中 初始 化 一 个 集群 。 同 时 ， 设 章 也 涵 头 了 本 书 的 目录 结构 。 
介绍 了 这 些 进程 如 何 与 内 存 结构 相互 协作 ， 从 而 实现 一 个 数据 


第 2 章 摘 述 局 动 PostgreSQL 集 群 时 所 涉及 的 重要 进程 ， 同 时 


库 管 理 系统 所 应 有 的 功能 。 
第 3 章 解 释 各 种 对 象 类 型 以 及 PostgreSQL 所 提供 的 各 种 对 象 。 同 时 ， 该 章 也 前 述 了 各 种 重要 的 概念 ， 例 如 数据 库 、 集 群 、 


表 空 间 和 模式 。 
第 4 章 涵 盖 事 务 所 涉及 的 ACID 属 性 、 隔 离 级 别 以 及 PostgreSQL 是 如 何 提供 这 些 功能 的 。 同 时 ， 该 章 也 探讨 了 多 版 本 并 发 控 
制 这 个 话题 。 
第 ?5 章 讨论 如 何 使 用 3QL Power Architect 对 表 以 及 关系 进行 建 模 。 同 时 ， 该 章 也 介绍 了 在 选择 设计 工具 时 需要 考虑 的 一 些 
注意 事项 。 
第 6 章 介绍 了 两 个 客户 端 工具 (pgAdmin: 一 个 用 户 界面 工具 ，psql: 一 个 命令 行 工具 ) 。 该 章 介 绍 了 如 何 使 用 pgAdmin 
境 变 量 、 查 看 SQL 命令 


浏 昂 数据库 对 象 、 生 成 查询 并 为 查询 产生 执行 计划 。 同 时 ， 该 章 也 曾 述 了 如 何在 psql 中 为 psql 连 接 建立 环 


的 历史 执行 记录 以 及 元 命令 。 


第 7 章 说 明 各 种 查询 优化 技术 。 为 了 便于 读者 理解 ， 该 草 也 列举 了 一 些 数 据 库 使 用 相关 的 范例 以 及 PostgreSQL 优 化 器 的 工 
作 原 理 。 


第 8 章 介 绍 对 查询 性 能 具有 显著 影响 的 PostgreSQL 服 务 器 设置 。 这 些 设置 包括 内 存 设 置 、 开 销 设 置 等 。 同 时 该 章 也 介绍 了 
两 种 对 象 类 型 : 分 区 和 物化 视图 。 


第 9 章 介 绍 相关 的 常用 工具 ， 例 如 pg dump. pg bulkload 以 及 用 于 PostgreSQL 导 入 与 读 取 数 据 的 copy 功 能 。 


第 10 草 介绍 实际 操作 中 的 常用 方法 。 该 章 一 步 一 步 地 介绍 如 何 使 用 PostgreSQL 的 流 复 制 以 及 pgpool-l| 来 实现 水 平 扩展 。 
同时 ， 该 章 也 介绍 PostgreSQL 中 基于 时 间 点 的 恢复 。 


第 11 章 列举 开发 者 在 使 用 PostgreSQL 时 经 单 会 遇 到 的 一 毕 问题 ， 并 前 述 如 何 解决 这 些 问 题 。 同 时 ， 该 章 也 说 明 连 接 上 问题 、 


权限 问题 与 参数 设置 问题 。 


第 12 草 引入 不 少 讨论 话题 ， 列 举 每 一 名 数据 染 构 师 都 应 当 注 意 的 一 些 有 趣 的 数据 类 型 、 一 些 真 正 有 用 的 扩展 ， 以 及 一 个 用 
来 分 析 PostgreSQL 日 志文 件 的 工具 。 同 时 ,该 草 也 展示 PostgreSQL 9.4 版 本 的 一 些 有 趣 功 能 。 


阅读 本 书 的 准备 工作 


-~ 


尔 必 须 有 一 人 台 能 够 联网 的 计算 机 。 如 果 这 从 计算 机 使 用 的 是 UNIX/Linux 操 作 系 统 ， 那 么 将 对 阅读 本 书 非 党 有 帮助 。 
本 书 的 目标 读者 


你 需要 接触 过 一 些 数据 库 ， 了 解 基本 的 数据 库 对 象 ， 如 表 和 视图 。 如 果 之 前 未 曾 或 者 很 少 接触 PostgreSQL， 你 会 友 现 这 本 
书 非常 有 用 。 如 果 过 去 几 年 你 一 直 在 使 用 PostgreSQL， 同 样 还 是 会 从 书 中 找到 一 些 你 不 熟悉 但 是 有 用 的 命令 ,或 者 找到 你 未 曾 
使 用 过 的 数据 库 优化 方法 。 信 助 本 书 ， 你 将 更 深入 地 了 解数 据 库 的 工作 原理 。 


下 载 示例 代码 


你 可 以 登录 华章 图 书 官 网 http://www.hzbook.com 下 载 本 书 示 例 代 码 。 
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本 章 概述 了 如 何 从 源 代码 中 安 沪 PostgreSQL。 在 接 下 来 的 介绍 中 ， 用 于 安 闭 和 提供 示例 的 系统 是 64 位 CentOS (6.4) 机 
器 。 其 他 的 UNIX/Linux 系 统 通常 也 有 类 似 的 命令 。 而 对 于 那些 使 用 Windows 系 统 的 用 尸 ， 网 
站 http://sourceforge.net/projects/unxutils/ 上 提供 了 一 组 实用 程序 ， 借 此 可 以 在 Windows 环 境 中 执行 大 多 数 的 UNIX 命 令 
(find、grep、cut 等 ) 。 相 比 在 UNIX/Linux 系 统 中 安装 PostgreSQL， 在 Windows 系 统 中 安装 PostgreSQL 的 步骤 是 完全 不 一 
样 的 。 本 草 暂 未 涉及 Windows 下 PostgreSQL 的 安 六 。 


1.1 安装 选项 


在 操作 系统 上 安装 PostgreSQL， 有 多 种 可 能 方式 。 对 于 Windows 系 统 ， 下 载 并 使 用 图 形 安装 程序 是 最 简单 的 方式 。 对 于 
Linux 系 统 ， 如 Red Hat Enterprise Linux 或 CentOS， 要 么 使 用 Yellow dog Updater Modied (yum) ， 要么 使 用 Red Hat 
Package Manager， 要 么 使 用 RPM Package Manager (rpm) 命令 来 安装 PostgreSQL。 而 对 于 Ubuntu， 可 以 使 用 apt-get 
命令 来 安装 PostgreSQL， 这 个 工具 又 可 以 与 相应 的 Ubuntu 的 Advanced Packaging Tool (APT) 相互 协作 。 虽 然 这 些 选项 都 
可 以 完成 安装， 但 当 执 行 这 些 命令 的 时 候 ， 我 们 仍 无 法 预知 将 要 太 生 的 事情 ， 当 然 ， 已 安 半 数据 库 的 情况 除外 。 


然后 ， 有 些 场景 下 我 们 想 要 基于 源 代 码 来 创建 数据 库 。 假 设 我 们 只 有 一 个 生产 服务 器 与 一 个 开 友 或 临时 服务 器 。 我 们 当前 处 
于 9.3 版 本 。9.4 版 本 即将 发 行 并 且 9.4 版 本 有 不 少 我 们 想 尝 试 的 有 趣 功 能 。 如 果 我 们 想 要 在 这 人 台 测 试 服务 器 上 安 六 9.4 版 本 ， 并 在 
9.3 版 本 不 印 载 的 情况 下 同时 使 用 9.4 版 本 ， 最 有 效 的 方法 融 是 使 用 --prefix= 选 项 ， 从 源 代码 中 进行 编译 ， 并 且 指 定 不 同 的 安 委 
目录 。 我 们 还 可 以 设置 不 同 的 默认 端口 。 另 外 可 能 友 生 的 状况 是 新 的 版 本 〈 源 代码 ) 已 准备 融 绪 ， 但 针对 Linuxj 叹 本 的 安 委 包 并 
未 准备 到 位 。 我 们 可 以 使 用 Linux， 但 我 们 根本 无 法 找到 其 安装 包 。 


在 这 些 情况 下 ， 我 们 可 以 基于 源 代码 进行 安室 。 从 源 代码 安装 的 一 个 优点 是 我 们 不 必 过 多 担心 诸如 要 下 载 哪 种 安 六 包 、 操 作 
系统 的 版 本 (CentOS 6.3 或 6.4) 、 系 统 架 构 (32 位 或 64 位 ) 等 此 类 问题 。 这 些 问 题 基 本 上 都 可 以 忽略 。 当 然 ， 我 们 需要 使 用 支 
持 数 据 库 的 操作 系统 或 染 构 ， 但 仅 此 而 已 。 同 时 ,我 们 还 需要 下 载 并 安 六 所 有 的 工具 ， 来 编译 和 使 用 PostgreSQL。 


让 我 们 开始 吧 。 


1.2 ”编译 源码 的 各 种 依赖 


从 源 代码 进行 编译 和 构建 PostgreSQL 时 ， 我 们 需要 3.8 或 更 高 版 本 的 GNU Make。gmake-v 命 令 将 显示 我 们 是 否 有 gmake 
及 其 版 本 号 。 


编译 器 也 是 必要 的 。GNU 编 译 器 集合 (GNU Compiler Collection, GCC) 融 是 这 样 的 一 个 工具 集 。 我 们 几乎 可 以 在 所 有 
的 UNIX 系 统 中 找到 它 。 gcc-v 命 令 将 为 我 们 提供 配置 在 系统 上 的 gcc 版 本 以 及 其 选项 ， 如 下 图 所 示 : 


jay@MyCentOS:~/sw/postgresql-9.3.0 


[jay@MyCentOS postgresql-9.3.0]$ gcc -v 

Using built-in specs. 

Target: x86_64-redhat-linux 

Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl-http://bugzilla.redhat.com/bugzilla 
--enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwi 


nd-exceptions --enable-gnu-unique-object --enable-lanquages=c,c++,objc,obj-c++, java, fortran,ada --enable-java-awt-gtk --disable-dssi --with-jav 
a-home=/usr/lib/jvm/java-1.5.@-gcj-1.5.0.0/jre --enable-Libgcj-multifile --enable-java-maintainer-mode --with-ecj-jar=/usr/share/java/eclipse-e 
cj.jar --disable-Libjava-multilib --with-ppl --with-cloog --with-tune=generic --with-arch_32=1686 --build=x86_64-redhat-Linux 
Thread model: posix 
gcc version 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC) 
[jayeMyCent05 postgresql-9.3.6]$ i 

hs 





Sete RKE M ED, BUTE T f 8: 
: Ubuntu: sudo apt-get install build-essential 


: RHEL/CentOS: sudo yum groupinstall'Development Tools' 


从 源 代码 中 构建 软件 包 的 过 程 包 括 了 对 源 代码 的 预 处 理 (包括 头 文 件 、 扩 展 安 等 ) 、 编 译 、 汇 编 和 链接 (链接 各 个 库 文 
fF) 。make 工 具 使 得 自动 从 源 代码 建立 可 执行 文件 。make 命 令 使 用 一 个 (makefile) ， 其 中 包含 一 套 如 何 构建 可 执行 文件 的 
规则 。 


除了 GNU Make 和 编译 器 之 外 ， 其 他 无 需 敬 还 。 不 过 ， 最 好 具有 人 至少 以 下 两 个 组 件 : 





- readline: 一 旦 我 们 开始 使 用 psql PostgreSQL 命令 行 客户 端 ，GNU readline 库 是 非常 有 用 的 。 后 面 会 介绍 PostgreSQL 命 令 


客户 端 。readline 帮 助 我 们 可 以 在 一 个 非常 “类 bash” 的 环境 下 工作 。 可 以 使 用 Tab 自 动 补 全 /提示 表 名 ， 可 以 使 用 上 下 键 来 浏览 
命令 历史 记录 等 。 它 也 可 以 帮助 我 们 在 安装 之 前 使 Zlib 就 绪 。 


一 


‘zlib: 当 正 在 执行 备份 的 时 候 ， 这 个 压缩 库 会 让 我 们 的 工作 变 得 非常 便捷 。 ( 当 有 一 个 数据 库 的 时 候 ， 这 个 是 必然 要 经 历 
的 过 程 。) 


当 我 们 想 要 以 XML 格 式 从 表 中 提取 数据 或 者 从 XML 文 件 中 加 载 数 据 到 表 中 时 ,添加 SQL/XML 支 持 是 非常 有 用 的 。 不 过 ， 相 
比 readline 与 zlib， 它 的 作用 要 相对 弱 一 点 。 


1.3 配置 和 创建 makefile 


下 一 步骤 是 执行 configure。 这 是 一 个 shell 脚 本 ， 它 会 运行 各 种 测试 来 确定 系统 相关 的 各 个 变量 。 同 时 ， 这 也 将 创建 许多 文 
件 ， 而 这 些 文件 将 在 编译 过 程 中 使 用 。 通 过 执行 以 下 命令 ， 我 们 可 以 了 解 这 些 选 项 : 


./configure --help > /tmp/config.txt 


我 们 可 以 用 vi/tmp/config.txt， 确 认 这 里 有 超过 80 个 补 使 用 的 选项 。 这 些 选项 大 致 可 归纳 为 以 下 几 类 : 


- 与 选择 目录 相关 的 。 与 架构 相关 的 文件 是 否 放 置 到 /ust/local/pgsql 或 者 其 他 地 方 ， 二 进 制 文件 应 该 放置 在 哪里 ， 文 档 文件 
被 放 到 哪里 等 。 


与 调试 、 分 析 、 跟 踪 等 相关 的 ， 这 些 都 会 被 用 在 生产 过 程 中 。 


: 与 选择 参数 的 非 默 认 值 设置 相关 的 ， 如 块 大 小 、 端 口 和 分 片 大 小 。 更 改 参数 的 默认 设置 对 性 能 有 显著 的 影响 ， 如 更 改 块 大 
小 。 所 以 ， 我 们 对 此 需要 谨慎 操作 。 从 安全 性 考虑 ， 更 改 默 认 端 口 是 个 好 主意 。 这 个 也 可 以 在 后 面 的 配置 文件 中 更 改 。 


- 与 启用 选项 相关 的 ， 例 如 OpenSSL 支 持 、SELinux 支 持 和 LDAP 支 持 。 
与 几 种 语言 的 构建 模块 相关 的 (Perl、Python 和 PL/TcL) o 
` 与 一 些 功 能 的 禁用 相关 的 (例如 zlib 和 treadline) 。 


需要 注意 的 是 --prefix 这 个 选项 。 如 果 你 想 做 一 个 干脆 利家 的 升级 ， 对 现 有 环境 不 造成 干扰 ， 那 么 就 用 这 个 选项 提供 一 个 
可 以 放置 安装 文件 的 目录 。 这 样 ， 每 个 版 本 将 放置 在 不 同 的 目录 中 。 例 如 : 


./configure --prefix-/opt/pg/9.3 


当 我 们 运行 ./configure 时 ， 我 们 可 能 会 得 到 以 下 输出 结 


checking for perl... /usr/bin/perl 

configure: using perl 5.10.1 

checking for main in -lm... yes 

checking for library containing setproctitle... no 

checking for library containing dlopen... -ldl 

checking for library containing socket... none required 

checking for library containing shl load... no 

checking for library containing getopt long... none required 

checking for library containing crypt... -lcrypt 

checking for library containing fdatasync... none required 

checking for library containing gethostbyname r... none required 

checking for library containing shmget... none required 

checking for library containing readline... no 

configure: error: readline library not found 

If you have readline already installed, see config.log for details on the 

failure. It is possible the compiler isn't looking in the proper directory. 

Use --without-readline to disable readline support. 

[jayeMyCent05 postgresql-9.3.0]$ yum list installed | grep readline 

readline.x86 64 6.0-4.e16 @anaconda-Cent0S-201505020151.x86_ 64/6.4 
postgresql-9.3. 





输出 结果 告诉 我 们 readline 不 存在 。 但 是 如 果 列 出 各 个 安装 包 ， 又 能 轻松 地 找到 它 。 这 其 中 的 原因 是 readline-devel 缺 失 。 
它 包含 了 那些 使 用 readline 库 的 程序 (如 psql) 所 需要 的 各 个 文件 。 这 可 以 使 用 以 下 命令 进行 安装 : 


yum install readline-devel.x86 64 


已 也 安 半 了 ncurses-devel 软 件 包 。 必 须 使 用 sudo 或 者 root 来 执行 依 令 。 昌 然 zlib 本 身 已 经 安 半 ， 但 是 你 也 可 能 获得 类 似 于 
zlib 中 出 现 的 错误 。 我 们 需要 再 次 强调 ， 正 确 的 做 法 束 是 安 准 devel。 而 在 这 种 情况 下 ， 需 要 安 浴 的 是 zlib-devel。 


一 旦 完成 这 个 操作 ， 就 可 以 再 次 运行 configure。 这 一 次 ， 它 应 该 能 顺利 执行 ， 如 下 图 所 示 : 


jay@MyCentOs:—/sw/postgresql-9.3.0 


for uint64... no 

ing for sig_atomic_t... yes 

ing for POSIX signal interface... 
for working memcmp... yes 


far 
far 
tar 


onsgmls... 
nsgmls... 


openjade... 


na 
na 
na 


ing for jade... no 
Tor DocBook V4.2... no 
ing far DocBook stylesheets... 
for collateindex.pl... no 
ing for xsltproc... xsltproc 
for osx... no 
ing for sgml2xml... no 
for sx... no 
ing thread Bab of required library functions... yes 
checking whether gcc supports -Wl,--as-needed. STO 
configure: using compilersgcc (GCC) 4.4.7 20120313 (Red Hat 4.4.7-3) 
configure: using CFLAGS=-02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute 
-Wfarmat-security -fno-strict-aliasing -fwrapv 
configure: using CPPFLAGS- -D GNU SOURCE 
configure: using LDFLAGS= -W1,--as-needed 
: Creating ./config.status 


ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 
ig.status: 


jay@MyCentOs 


creating 
creating 
creating 
creating 
creating 
linking 
linking 
linking 
linking 
linking 
linking 
linking 
linking 
postgresg 


GNUmakefile 

src/Makefile.glaobal 

src/include/pg_config.h 

src/include/pg config ext.h 
src/interfaces/ecpg/include/ecpg config.h 
src/backend/port/tas/dummy.s to src/backend/port/tas.s 


src/backend/port/dynloader/linux.c to src/backend/port/dynloader.c 
src/backend/porf/sysv sema.c to src/backend/port/pg sema.c 

bn shmem.c to src/backend/port/pg shmem.c 
src/backend/part/unix latch.c to src/backend/port/pg_latch.c 
src/backend/port/dynloader/linux.h ta src/include/dynloader.h 


src/backend/por 


src/include/port/Linux.h to src/include/pg config os.h 
src/makefiles/Makefile.linux to src/Makefile.port 
1-9.3.0$ ff 





现在 ， 两 个 文件 被 创建 在 当前 目录 中 ， 除 此 之 外 ， 还 有 一 些 文件 出 现在 子 目 录 中 。 Ce status， 而 另外 
一 个 文件 a 是 bash 脚 本 ， 可 以 执行 它 来 重新 创建 配置 。 可 以 通过 审查 这 个 config.log 文 件 ， 来 了 解 
所 使 用 的 各 种 选项 、 变 量 或 者 错误 (如果 有 的 话 ) 。config.log 文 件 可 能 存在 一 些 被 标注 为 致命 的 错误 ， 而 编译 过 程 却 仍然 可 以 
顺利 完成 。 








这 一 步骤 编译 所 有 的 源 文件 ， 并 生成 可 执行 文件 。 我 们 在 配置 步骤 中 创建 了 makefile， 而 这 个 文件 可 以 通过 gmake 功 能 进 
行使 用 。 这 些 文件 并 没有 被 复制 到 标准 目录 中 ， 例 如 bin、/usr/bin、/usr/local/bin 等 。 可 以 配置 所 有 选项 (contrib 模 块 、 源 
int ， 或 者 仅仅 配置 核心 部 分 。 也 可 以 先 创 建 核 心 部 分 逐渐 添加 必要 的 contrib 模 块 。 这 里 会 创建 所 有 的 选项 ， 而 不 

行 模块 的 逐渐 添加 。 因 此 ， 使 用 如 下 命令 : 


gmake world 


过 程 需要 几 分 钟 来 完成 。 最 后 它 会 显示 : 
install, EUTF: 


PostgreSQL, contrib, and documentation successfully made.Ready to 


Jay BMyCentOS:^/sw/postgresqi-5-3.0 
Edit View Search Terminal Help 

gmake[2]: Leaving directory ‘/home/jay/sw/postgresql-9.5.8/contrib/test_parser' 
gmake -C tsearch2 all 
gmake[2]: Entering directory '/home/jay/su/postgresal -9. 3.0/contrih/tsearch2' 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -I. -I. -I../../srce/include -D_GNU_SOURCE -C -0 tsearch?.o tsearch2.c 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -L../../src/port -L../../src/common -WL,--as-needed -Wl,-rpath,'/usr/local/pgsql/lib',--enable-new-dtags -sha 
red -o tsearch2.so tsearch2.o 
gmake[2]: Leaving directory ‘/home/jay/sw/postgresql-9.3.@/contrib/tsearch2' 
gmake -( unarcent all 
gmake[2]: Entering directory /home/jay/sw/postgresql-9.3.@/contrib/unaccent' 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -I. -I. -I../../src/include -D GNU SOURCE -c -o unaccent.o unaccent.c 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -shared -o unaccent.so unaccent.o -L../../src/port -L../../src/common -Wl,--as-needed -Wl,-rpath, '/usr/local/p 
gsql/lib',--enable-new-dtags 
gmake[2]: Leaving directory ‘/home/jay/sw/postgresql-9.3.@/contrib/unaccent' 
gmake -C vacuumlo all 
gmake[2]: Entering directory '/home/jay/sw/postgresql-9.3.0/contrib/vacuumlo' 
gcc P -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -I../../src/interfaces/libpg -I. -I. -I../../src/include -D GNU SOURCE -c -o vacuumlo.o vacuumlo.c 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv vacuumlo.o -L../../src/port -lpgport -L../../src/common -lpgcommon -L../../src/interfaces/libpq -lpq -L../../src/por 
t -L../../src/common -WL,--as-needed -Wl,-rpath,'/usr/local/pgsql/lib',--enable-new-dtags -lpgport -lpgcommon -lz -lreadline -Lcrypt -ldl -lm 
-0 vacuumlo 

: Leaving directory ‘/home/jay/sw/postgresql-9.3.@/contrib/vacuumlo' 

C worker_spi all 

: Entering directory ‘/home/jay/sw/postgresql-9.3.@/contrib/worker_spi' 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -I. -I. -I../../src/include -D_GNU_SOURCE -c -o worker_spi.o worker_spi.c 
gcc -02 -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -f 
no-strict-aliasing -fwrapv -fpic -L../../src/port -L../../src/common -W1,--as-needed -Wl,-rpath, '/usr/local/pgsql/lib',--enable-new-dtags -sha 
red -o worker spi.so worker spi.o 

: Leaving directory ‘/home/jay/sw/postgresql-9.3.@/contrib/worker_spi' 

: Leaving directory ‘/home/jay/sw/postgresql-9.3.@/contrib' 
PostgreSQL, contrib, and documentation successfully made. Ready to install. 
[jay@MyCentOS postgresql-9.3.0)$ Į 





在 这 个 步骤 ， 需 要 将 文件 复制 到 正确 目录 中 。 人 在 安 六 过 程 中 ， 需 要 将 文件 写 入 目录 中 ， 而 普通 用 户 则 没有 相关 权限 ， 对 此 ， 


如 果 你 有 兴趣 查看 安 凑 步骤 友 生 了 什么 事情 ， 则 需要 重新 指定 文件 将 结果 输出 ,例如 ，gmake install- 


world>/tmp/install.out, 


我 们 曾 使 用 关键 词 world 来 编译 。 我 们 也 将 使 用 类 似 的 选项 来 完成 安 妆 : 


gmake install-world 


如 果 一 切 顺 利 ， 我 们 将 收 到 一 条 消息 ， 显 示 : PostgreSQL, contrib, and documentation successfully made.Ready to 
install。 如 果 结 果 输 出 到 之 前 提 及 过 的 文件 中 ， 我 们 便 可 以 打开 文件 ， 看 到 安 濠 过程 创 建 了 一 个 目录 /usr/local/pgsql， 同 时 还 
有 和 针对 不 同 组 件 的 几 个 子 目录 。 之 后 ，install 命 令 将 目录 和 文件 复制 到 目标 目录 ， 并 设置 属性 。 参 阅 下 图 选中 部 分 : 





bin/mkdir -p /usr/local/pgsql/bin  /usr/local/pgsql/share 

usr/bin/install -c postgres '/usr/local/pgsql/bin/postgres' 

n -s postgres ' /usr /Local/pgsqU/bin/Bostmaster ' 

gmake -C catalog install-data 

gmake[3]: Entering directory *‘/home/jay/sw/postgregql-9.3.0/src/backend/catalog' 

bin/mkdir -p '/usr/local/pgsql/share' 

usr/bin/install -c -m 644 ‘for f in ./postgres.bki; do test -r $f && echo $f && break; done" '/usr/local/pgsql/share/postgres.bki' 
usr/bin/install -c -m 644 ‘for f in ./postgres.description; do test -r $f && echo $f && break; done" '/usr/local/pgsql/share/postgres.descript 
on 

usr/bin/install -c -m 644 ‘for f in ./postgres.shdescription; do test -r $f && echo $f && break; done’ '/usr/local/pgsql/share/postgres.shdesc 
ription' 

usr/bin/install -c -m 644 ./system views.sql '/usr/local/pgsql/share/system views.sql' 

usr/bin/install -c -m 644 ./information schema.sql '/usr/local/pgsql/share/information schema.sql' 

usr/bin/install -c -m 644 ./sql features.txt '/usr/local/pgsql/share/sql  features.txt' 

gmake[3]: Leaving directory '/home/jay/sw/postgresql-9.3.0/src/backend/catalog' 

gmake -C tsearch install-data 

gmake[3]: Entering directory '/home/jay/sw/postgresql-9.3.0/src/backend/tsearch' 

/bin/mkdir -p ‘/usr/local/pgsql/share’ ‘/usr/local/pgsql/share/tsearch_data' 

/usr/bin/install -c -m 644 ./synonym_sample.syn ./thesaurus_sample.ths ./hunspell_sample.affix ./ispell_sample.affix ./ispell_sample.dict '/usr 
/Local/pgsql/share/tsearch_data/' 

gmake[3]: Leaving directory ‘/home/jay/sw/postgresql-9.3.0/src/backend/tsearch' 





检查 变化 


由 于 我 们 并 未 对 默认 选项 进行 任何 更 改 ， 因 此 安装 文件 仍然 在 /usr/local/pgsql 目 录 。 我 们 有 四 个 目录 ， 分 别 是 include、 
lib、share 和 bin。include 目 录 包 括 了 头 文件 (.h) 扩展 ，lib 目 录 包 含 了 所 有 动态 链接 库 (Linux/UNIX 系 统 下 是 .so，Windows 
系统 下 是 .dll) ， 而 bin 目 录 则 包含 了 可 执行 文件 。 


share 月 录 则 更 有 意思 一 些 。 这 里 有 许多 范例 文件 ,如 pg hba.conf.sample, pg ident.conf.sample、 
pg _service.conf.sample、postgresql.conf.sample、psqlrc.sample 和 recovery.conf.sample。 一 旦 我 们 初始 化 集群 ， 更 改 了 
各 个 配置 文件 ， 如 果 还 无 法 跟踪 相应 变化， 我 们 融 可 以 对 比 这 些 文 件 ， 试 图 了 解 友 生 了 哪些 变化 ， 根 据 需要 ， 进 行 回 滚 。 


这 个 目录 也 有 几 个 SQL 文件 ， 如 information_ schema.sql 和 system _view.sql。 当 数据 库 群 集 被 初始 化 时 ， 可 以 创建 元 数据 
SE]. 


在 share 的 下 一 层级 目录 中 ， 可 以 使 用 doc 目 录 来 保存 文档 ， 使 用 man 目 录 来 保存 手册 页 等 。share 目 录 下 存在 一 个 有 趣 的 子 
目录 ， 叫 作 extension。 这 里 ， 我 们 可 以 看 到 所 有 的 扩展 ， 我 们 可 以 根据 需要 进行 安装。 大 多 数 扩 展 有 一 个 .control 文 件 ， 访 文 
件 提 供 了 这 个 扩展 的 基本 信息 ， 如 下 所 示 : 


[jay@MyCentOS extension]$ more dblink.control 
# dblink extension 


comment = 'connect to other PostgreSQL databases from within a 
database' 


default version = '1.1' 
module pathname = '$libdir/dblink' 
relocatable = true 


对 于 每 一 个 扩展 ， 都 会 有 相应 的 SQL 文件 。 当 在 所 选择 的 数据 库 中 安 委 扩展 的 时 候 ， 可 以 使 用 这 些 文 件 。 
从 源 代 人 码 中 安装 PostgreSQL 的 文档 存放 在 http://www.postgresql.org/docs/current/static/installation.html。 


请 注意 ， 我 们 刚刚 安 委 了 数据 库 软 件 。 但 到 目前 为 止 ， 我 们 还 不 能 连接 到 任何 数据 库 。 下 一 步 ， 我 们 需要 添加 一 个 用 户 ， 进 
行 数 据 库 管理 任务 ， 并 初始 化 数据 库 集群 。 


1.6 初始 化 集群 


特 先 ， 添 加 一 个 Os 用 户 。 这 个 用 户 将 用 于 局 动 /停止 / 重 局 数据 库 。 访 用户 也 将 是 集群 的 超级 用 户 。 以 下 命令 将 以 root 身 份 


或 者 使 用 sudo 执 行 : 


adduser postgres 
S an 不 需要 将 新 用 户 命 名 为 posteres。 它 可 以 是 mydbadmin、mydba 或 者 其 他 任何 我 们 想 出 来 的 名 字 。 


接 下 来 ,创建 一 个 目录 ， 这 将 成 为 新 集群 的 基本 目录 。 可 以 将 其 放 在 任何 地 方 。 标 准 的 存放 路 径 可 以 


是 /usr/local/pgsql/data。 然 而 ， 你 可 能 希望 将 数据 库 集群 存放 在 一 个 单独 的 分 区 里 。 这 样 ， 在 OS 及 相关 文件 系统 友 生 朋 演 的 
情况 下 ,数据库 中 的 数据 仍 保持 不 变 。 你 也 可 能 希望 使 用 更 快 的 旋转 磁盘 或 者 固态 磁盘 ， 以 此 提高 数据 库 集群 的 性 能 。 忌 之， 出 
于 性 能 及 可 靠 性 问题 的 考虑 ， 数 据 库 集群 初 始 化 的 操作 地 点 可 以 不 仅仅 局 限于 默认 位 置 。 作 为 root 用 尸 ， 执 行 以 下 命令 : 


[root@MyCentOS extension]# mkdir -p /pgdata/9.3 


-p 选 项 确保 也 创建 父 目 录 (在 它 不 存在 的 情况 下 ) : 
[root@MyCentOS extension]# chown postgres /pgdata/9.3 
然后 ， 我 们 将 用 户 切换 到 postgres。 这 样 的 操作 是 非 营 有 必要 的 ， 因 为 当初 始 化 集群 的 时 候 ， 执 行 命令 的 用 户 成 为 集群 的 
所 有 者 。 服 务 器 进程 也 将 被 该 用 户 所 拥有 。 所 以 接 下 来 将 使 用 我 们 所 创建 的 标准 用 户 -postgres: 


SU - postgres 


下 一 步 是 运行 Initdb 的 脚本 。 也 不 完全 是 。 如 果 我 们 现在 运行 initdb， 会 得 到 一 个 错误 : 


[postgres@MyCentOS ~]$ initdb 


-bash: initdb: command not found 


这 是 因为 我 们 还 未 添加 含有 PostgreSQL 可 执行 文件 的 目录 到 环境 变量 PATH 中 。 我 们 可 以 提供 绝对 路 径 ， 并 使 其 友 挥 作 
用 。 然 而 ， 最 好 设置 变量 。 
在 postgres 的 .bash profile 文 件 中 ， 写 入 如 下 内 容 : 
PATH=$PATH: SHOME/bin 
export PATH 
在 export PATH 行 前 ， 增 加 : 


PATH=$PATH: /usr/local/pgsql/bin 


然后 ， 试 试 这 个 : 
[postgres@MyCentOS ~]$ which initdb 
/usr/bin/which: no initdb in 


(/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/p 


ostgres/bin) 


并 不 奇怪 ，.bash_profile 文 件 不 会 执行 ， 除 非 初 始 化 它 ， 或 退出 再 登录 。 
先 退 出 ， 在 登录 ， 然 后 再 试 一 次 : 


[postgres@MyCentOS ~]$ exit 

logout 

[root@MyCentOS ~]# su - postgres 
[postgres@MyCentOS ~]$ which initdb 
/usr/local/pgsql/bin/initdb 


现在 我 们 继续 ! 最 好 执行 如 下 内 容 : 


initdb --help | more 


针对 诸多 可 用 参数 ， 在 大 多 数 情 况 下 ， 重 要 的 参数 将 是 -D 或 --pgdata。 这 个 参数 用 来 定义 目录 ， 在 该 目录 下 集群 会 被 初始 
化 (数据库 集群 应 该 存放 在 此 ) 。 这 是 唯一 的 必 选 参数 。 另 一 个 有 用 的 参数 是 --pwprompt。 利 用 这 一 参数 ， 可 以 为 数据 库 超 级 


用 户 设 置 密 码 。 因 此 ， 执 行 以 下 命令 : 


initdb --pgdata=/pgdata/9.3 --pwprompt 


如 果 到 现在 为 止 ， 仍 未 设置 密码 ， 而 接 下 来 又 要 进行 密码 验证 ， 那 我 们 必须 设置 密码 ， 如 下 图 所 示 : 


正如 之 前 截图 所 示 ， 该 过 程 需 要 输入 超级 用 户 密码 。 在 结尾 处 ， 它 会 给 出 一 个 警告 ， 信 用 身份 认证 后 才能 局 动 本 地 连 
意味 着 我 们 将 有 可 能 通过 本 地 主机 进行 连接 ， 且 不 会 被 提示 输入 密码 。 改 变 这 种 设置 ， 是 一 个 好 主意 。 这 会 在 后 面 进 行 讨 
天 initdb 的 更 多 选项 ， 请 参考 http://www.postgresql.org/docs/current/static/app-initdb.html。 


与 往常 一 样 ， 让 我 们 来 看 看 友 生 了 什么 ;在 我 们 初始 化 集群 的 时 候 ,， 创 建 了 哪些 目录 : 


cd /pgdata/9.3 

[postgres@MyCentOS 9.3]$ find ./ -maxdepth 1 -type d 
-/ 

./base 

./pg stat 

./pg clog 

./pg xlog 

./pg tblspc 


Bt. 


^ 


i£. 


Jt ox 


Ej | — postgres@MyCentos:~ 
File Edit View Search Terminal Help 

[postgres@MyCentOS ~]$ initdb --pgdata=/pqdata/9.4 --pwprompt 

The files belonging to this database system will be owned by user "postgres". 
This user must also own the Server process. 


The database cluster will be initialized with locale "en US.UTF-8". 
The default database encoding has accordingly been set to UTF8 . 
The default text search configuration will be set to "english". 


Data page checksums are disabled. 


fixing permissions on existing directory /pqdata/9.3 ... ok 
creating subdirectories ... ok 

selecting default max_connections ... 100 
selecting default shared buffers ... 128MB 
creating configuration files ... ok 

creating tempLate1 database in /pgdata/9.5/base/1 ... ok 
initializing pg_authid ... ok 

Enter new superuser password: 

Enter it again: k 

setting password ... ok 

initializing dependencies ... ok 

creating system views ... ok 

loading system objects’ descriptions ... ok 
creating collations ... ok 

creating conversions ... ok 

creating dictionaries ... ok 

setting privileges on built-in objects ... ok 
creating information schema ... ok 

loading PL/pgSQL server-side language ... ok 
vacuuming database templatel ... ok 

copying template] to template@ ... ok 

copying template! to postgres ... ok 

syncing data to disk ... ok 


WARNING: enabling "trust" authentication for local connections 
You can change this by editing pg hba.conf or using the option -A, or 
--auth-local and --auth-host, the next time you run initdb. 





./pg twophase 
./pg subtrans 
./global 

./pg notify 
./pg stat tmp 
./pg snapshots 
./pg multixact 
./pg serial 





到 目前 为 止 ， 我 们 已 完成 对 数据 库 集 群 的 初始 化 操作 。 但 是 ， 通 过 使 用 world 选 项 ， 创 建 了 不 少 扩展 程序 。 可 以 使 用 dx (fü 
述 扩展 程序 ) 命令 ， 将 这 些 安 六 的 扩展 程序 列举 出 来 。 


postgres=# \dx 
List of installed extensions 


| Version | Schema | Description 


plpgsql | 1.0 | pg catalog | PL/pgSQL procedural language 


(1 row) 


为 了 获取 可 用 的 扩展 程序 列表 ， 可 以 查询 pg_available_ extensions 视 图 ， 如 下 所 示 : 


postgres=# SELECT name,comment FROM pg available extensions limit 5; 


name | comment 
- =æ æ m ew ew eX = = 中 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
dblink | connect to other PostgreSQL databases from within a 
database 
isn | data types for international product numbering standards 
file fdw | foreign-data wrapper for flat file access 
tsearch2 | compatibility package for pre-8.3 text search functions 
unaccent | text search dictionary that removes accents 
(5 rows) 


让 我 们 芝 旗 安 委 一 个 扩展 程序 ， 然 后 再 次 查看 已 安 妆 的 扩展 程序 列表 : 


postgres=# CREATE EXTENSION dblink ; 


CREATE EXTENSION 


postgres=# \dx 
List of installed extensions 
Description 


Name | Version | Schema | 


dblink | 1.1 | public | connect to other PostgreSQL 
databases from within a database 
plpgsql | 1.0 | pg catalog | PL/pgSQL procedural language 


(2 rows) 


dblink REF CRAIC RIA. Buc, Redrope: 


postgres=# DROP EXTENSION dblink ; 
DROP EXTENSION 
postgres=# \dx 


List of installed extensions 


Name | Version | Schema | Description 
--------- +---------+------------+------------------------------ 
plpgsql | 1.0 | pg catalog | PL/pgSQL procedural language 
(1 row) 
X 
1.8 小结 


本 章 介 绍 了 从 源 文 件 安装 PostgreSsQL 的 步骤 : 下 载 、 配 置 、 创 建 和 安 半 。 我 们 了 解 了 源 文 件 树 的 目录 结构 、 和 群集 初始 化 过 
程 、 所 得 到 的 目录 和 文件 以 及 安 竣 和 逢 载 扩展 程序 的 过 程 。 


下 一 章 将 讨论 PostgreSQL 服 务 器 架构 。 我 们 将 介绍 各 种 后 人 台 进 程 、 它 们 的 功能 、 内 存 结构 以 及 它们 如 何 相 互 协 作 ， 从 而 在 


PostgreSQL 中 提供 众多 功能 。 


第 2 草 ”服务 器 架构 


通过 前 面 章节 的 讲解 ， 我 们 看 到 了 ， 要 开始 一 个 PostgreSQL 集 群 需要 开局 一 些 进 程 。 这 些 进程 会 管理 文件 /O 以 及 其 他 进 
程 ， 并 处 理 内 和 存 分 配 和 其 他 相 天 工作 。 本 章 将 重点 介绍 这 些 进程 及 其 作用 、 内 存 管理 以 及 它们 如 何 协同 工作 。 


我 们 首先 列举 这 些 进 程 。 我 们 看 到 目前 为 止 ， 尚 未 有 客户 端 连 接 到 任何 一 个 数据 库 : 


[root@MyCentOS ~]# ps f -U postgres 


PID TTY STAT TIME COMMAND 

1918 ttyl S 0:00 /usr/local/pgsql/bin/postgres 

1920 ? Ss 0:00 \ postgres: checkpointer process 

1921 ? Ss 0:00 V postgres: writer process 

I2 F Ss 0:00 \ postgres: wal writer process 

1923 ? Ss 0:00 \ postgres: autovacuum launcher process 
1924 ? Ss 0:00 V postgres: stats collector process 


2.1 ”从 守护 进程 开始 


当 我 们 启动 PostgreSQL 时 ， 局 动 的 第 一 个 进程 是 /usr/local/pgsql/bin/postgres。 这 个 进程 承担 着 相当 多 的 责任 ， 如 执行 
恢复 、 初 始 化 共享 的 数据 结构 /内 存 空间 以 及 局 动 必 选 进程 和 可 选 进程 。 这 些 进程 也 称 为 功能 进程 ， 它 们 包括 了 bgwriter、 
checkpointer, autovacuum launcher, log Writer, stats collector process 等 。 守 护 进 程 还 监听 连接 请 求 ， 接 收 客户 端的 连 
接 请 求 ， 并 为 客户 端 生 成 服务 器 进程 。 很 显然 ， 守 护 进 程 本 身 就 是 一 个 必 选 进程 ， 它 应 该 一 直 运 行 ， 为 连接 到 数据 库 的 用 户 服 


务 。 


让 我 们 关注 用 尸 连 接 - 分 配 -命令 这 样 的 场景 以 及 其 相关 内 容 。 下 图 将 展示 守护 进程 如 何 接收 连接 请 求 并 局 动 (克隆 ) fmm 
进程 。 在 身份 验证 成 功 之 后 ， 后 端 进程 将 开始 处 理 来 自 客 尸 端 的 请 求 : 


子 进程 





对 于 所 有 的 连接 请 求 ， 该 进程 将 不 断 重 复 (除非 我 们 达到 了 max connections 设 置 的 值 ， 而 在 这 种 情况 下 ， 会 得 到 一 个 错 


因此 ， 在 一 段 时 间 之 后 ， 活 动 的 服务 器 将 积累 下 来 一 些 进程 ， 包 括 因 服务 器 启动、 客户 站 链 接 等 产生 的 相关 进程 ， 如 下 图 所 


ZR: 


客户 端 1 


^m 2 


AH 


= y" T) n 


Jn Yt FE n 





通 单 情况 下 ， 当 一 个 用 户 连 接 到 数据 库 乙 后 ， 他 通 弟 想 要 读 取 数据 (SELECT) 或 者 写 入 数据 
(UPDATE/DELETE/INSERT) ， 也 有 可 能 想 要 更 改 表 结构 、 增 加 泰 引 等 。 例 如 ， 一 个 用 尸 登录 亚马逊 ， 他 要 搜索 最 新 的 iPad 及 
其 价格 、 是 人 否 可 买 到 等 。 这 个 操作 听 起 来 是 很 简单 。 假 设 我 们 使 用 最 简单 的 表 结 构 ， 这 个 搜索 将 成 为 如 下 查询 : 


SELECT price, available count FROM product tbl WHERE product = 
‘a Pad" > 


然而 ， 当 我 们 考虑 到 可 能 有 成 干 上 万 的 用 户 都 要 进行 这 样 的 操作 时 ， 那 它 束 会 变 得 有 些 复杂 。 前 面 的 查询 将 同时 执行 成 干 上 
万 次 。 当 成 干 上 万 的 用 尸 搜 索 不 同 的 产品 时 ，iPad 被 更 改 为 数 干 种 不 同 的 产品 名 称 。 到 目前 为 止 , 一 切 进展 顺利 。 然 而 ， 如 果 
亚马逊 只 剩 下 一 个 ijPad， 而 有 几 目 个 用 户 试 图 将 其 添加 到 他 们 的 购物 车 中 ， 这 将 会 友 生 什么 情况 ”事情 变 得 灰 手 了 吧 ”也 残 是 
说 ， 在 这 个 数据 库 中 ， 很 多 用 户 试 图 写 入 同一 个 记录 : 


UPDATE product tbl SET available count -0 WHERE product = 'iPad'; 


在 脑海 中 对 此 做 了 相关 思想 准备 后 ， 让 我 们 继续 来 了 解 PostgreSQL 的 进程 和 内 人 存 管 理 。 


2.2 ”理解 共享 缓冲 区 


如 果 成 干 上 万 的 用 尸 尝 试 在 不 同 的 表 中 读 / 写 数据 ， 从 目录 /文件 中 读 取 数据 会 产生 一 个 极度 不 可 扩展 的 系统 (这些 目 录 和 | 文 
件 是 在 安装 PostgreSQL 以 及 创建 数据 库 及 相关 表 时 所 建立 的 ) 。 读 取 和 写 入 会 导致 搜索 众多 文件 、 打 开 这 些 文件 、 使 用 fseek0 
查找 特定 的 数据 记录 、 锁 定 、 编 辑 和 和 解锁。 为 了 提高 这 些 操作 的 效率 及 可 扩展 性 ,我 们 引入 了 共享 组 ;中 区 (和 存储 区 域 ) . WE, 


后 端 进程 不 再 是 从 文件 中 读 取 及 写 入 文件 ， 而 是 从 处 理 缓 冲 区 或 RAM 中 读 取 及 写 入 文件 ， 这 明显 改善 了 性 能 。 存 储 器 的 容量 分 
配 是 由 postgresql.conf 中 的 参数 shared _buffers 所 决定 的 。 当 服务 器 启动 时 ， 就 会 分 配 共 享 内 存 的 固定 大 小 。 


并 不 仅 仅 是 该 内 存 块 独 目 负 责 缩短 响应 时 | 间 ，OS 的 缓存 也 通过 保持 大 量 的 数据 随时 可 用 ， 进 而 大 大 缩短 了 响应 时 间 。 这 两 
个 缓存 一 起 明显 降低 了 实际 读 取 次 数 和 物理 读 写 的 容量 。 除 了 这 两 个 级 别 的 缓存 之 外 ， 还 存在 磁盘 控制 器 缓存、 磁盘 驱动 器 缓存 
。 这 些 缓存 通过 减少 所 需 的 物理 |/O 来 提高 性 能 。 


dR 


Am, BARRE, SAEM SARRA ERIO. BREF, HR. WERE 
辑 1/O 优 化 的 相关 风险 和 益处 ， 推 荐 你 参阅 格雷 太 里 :史密斯 (Gregory Smith) zi 
(Postgre SQL 9.0 High Performance) 。 


，Packt 出 版 的 《高 性 能 PostgreSQL 9.0》 


让 我 们 仅仅 考虑 一 个 简单 的 SELECT 语句 可 能 需要 经 历 的 过 程 ， 这 里 仪 融 共 享 缓 区 和 @ 〇 9 缓 仔 两 方面 而 言 。 


Ira Sins Fe 后 端 进程 
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首先 要 考虑 的 一 件 事情 束 是 检查 它 所 需要 的 数据 是 否 已 仓 在 于 数据 库 缓存 中 。 如 果 数 据 不 存在 ， 束 癌 OS 友 出 一 个 请 求 ， 以 
获取 特定 的 文件 / 块 。 存 在 这 样 一 种 可 能 性 ， 即 OS 缓存 已 经 具有 文件 / 块 ， 那 么 它 将 其 传递 到 数据 库 缓存 。 在 这 两 种 情况 下 ， 物 
理 |/O 操 作 是 可 以 避免 的 。 只 有 当 所 需 数 据 不 存在 于 这 些 缓存 (或 其 他 缓存 ) 中 ， 用 尸 初 始 化 的 读 / 写 才 会 导致 物理 /OQO。 这 三 种 
可 能 性 如 下 图 所 示 : 


很 明显 ， 大 多 数 用 尸 驱动 的 数据 读 取 和 写 入 操作 将 通过 缓冲 区 发 生 。 例 外 则 友 生 在 相 比 通常 读 取 和 写 入 的 数据 ， 数 据 库 的 绥 
冲 区 非常 小 的 情况 。 即 使 每 秒 内 事务 友 生 的 频次 非常 高 ， 但 如 果 这 些 事务 在 大 多 情况 下 都 与 相同 数据 集 交 互 ， 那 么 物理 |/O 仍 将 
限制 在 一 定 学 围 内 ， 不 会 产生 瓶 贷 。 只 有 当 不 同事 务 真正 通过 文件 系统 的 不 同 区 域 来 获取 数据 时 ， 缓 冲 区 才 会 频 蚂 地 将 数据 写 入 
磁盘 ， 并 从 磁盘 中 读 取 数据 。 


即使 是 在 这 样 一 个 场景 中 : 一 个 用 户 对 表 数 据 进行 了 大 幅 改 动 并 提交 了 一 个 更 改 ， 这 样 的 操作 可 能 并 不 会 立即 将 数据 写 入 底 
层 数据 文件 中 。 这 可 能 仅仅 产生 这 样 一 个 结果 : 就 是 确保 WAL 文 件 与 WAL 缓 冲 区 保持 同步 即 可 。 


WAL 会 形成 一 个 天 键 部 件 ， 它 可 以 确保 持久 性 (D) ， 并 企 一 定 程 度 上 保证 了 事务 ACID 属性 中 的 原子 性 (A) 。 然 而 , 首 
先 让 我 们 继续 关注 缓冲 区 ， 看 看 用 尸 更 改过 的 数据 如 何 最 终 到 达 数 据 文件 。 


检查 缓冲 区 缓 仓 


PostgreSQL 提 供 了 一 个 扩展 程序 ， 借 此 我 们 可 以 查看 缓冲 区 缓存 的 内 容 。 它 的 安装 方式 类 似 于 先前 的 安装 方式 。 登 录 
psql， 并 创建 两 个 数据 库 : 


CREATE DATABASE test; 
CREATE DATABASE mydb; 


连接 到 测试 数据 库 ， 并 执行 : 


CREATE EXTENSION pg buffercache; 
CREATE EXTENSION 


所 以 ， 如 果 我 们 这 样 做 ,会 发 生 什么 呢 ? 我 们 通过 查看 SQL 进 一 步 了 解 。 在 shell 提 示 符 中 ， 进 
A/usr/local/pgsql/share/extensionBsR: 


[postgres@MyCentOS ~]$ cd /usr/local/pgsql/share/extension 
[postgres@MyCentOS extension]$ pwd 
/usr/local/pgsql/share/extension 

[postgres@MyCentOS extension]$ more pg buffercache--1.0.sql 
/* contrib/pg buffercache/pg buffercache--1.0.sql */ 


-- complain if script is sourced in psql, rather than via CREATE 
EXTENSION 
\echo Use "CREATE EXTENSION pg buffercache" to load this file. 


\quit 


-- Register the function. 

CREATE FUNCTION pg buffercache pages () 
RETURNS SETOF RECORD 

AS 'MODULE PATHNAME', 'pg buffercache pages' 
LANGUAGE C; 


-- Create a view for convenient access. 


CREATE VIEW pg buffercache AS 
SELECT P.* FROM pg buffercache pages() AS P 


(bufferid integer, relfilenode oid, reltablespace oid, 
reldatabase oid, 

relforknumber int2, relblocknumber int8, isdirty bool, 
usagecount int2); 


-- Don't want these to be available to public. 
REVOKE ALL ON FUNCTION pg buffercache pages() FROM PUBLIC; 
REVOKE ALL ON pg buffercache FROM PUBLIC; 


需要 记 住 一 点 ， 即 在 集群 的 一 个 数据 库 中 安装 扩展 程序 。 如 果 一 定 要 在 集群 的 另 一 个 数据 库 中 使 用 它们 ， 那 我 们 必须 要 
在 相应 的 数据 库 中 也 安装 扩展 程序 。 对 于 PostgreSQL， 集 群 是 指使 用 相同 的 配置 文件 并 在 一 个 公共 端口 响应 请 求 的 一 组 数据 库 。 
第 3 章 将 详细 介绍 集群 、 数 据 库 以 及 相关 对 象 。 


让 我 们 连接 到 测试 数据 库 ， 看 看 缓冲 区 缓存 的 内 容 : 


[postgres@MyCentOS extension]$ psql -d test 
Type "help" for help. 


test=# SELECT DISTINCT reldatabase FROM pg buffercache; 


reldatabase 


在 缓存 中 找到 两 个 数据 库 的 某 些 部 分 。 带 0 的 记录 表示 组 ;中 区 尚未 使 用 : 


test=# \! oid2name 
All databases: 
Oid Database Name Tablespace 


16440 mydb pg default 
12896 postgres pg default 
12891 templateO pg default 

l templatel pg default 
24741 test pg default 


它们 是 test 数 据 库 (这 是 我 们 连接 的 数据 库 ) 和 postgres 数 据 库 。 
我 们 可 以 用 一 些 其 他 视图 再 次 连接 ， 以 获得 更 清晰 的 结果 : 


SELECT 

c.relname, 

count (*) AS buffers 

FROM pg class c 

JOIN pg buffercache b 

ON b.relfilenode=c.relfilenode 


INNER JOIN pg database d 

ON (b.reldatabase-d.oid AND d.datname=current database () ) 
GROUP BY c.relname 

ORDER BY 2 DESC; 


pg operator 
pg depend reference index 


2 
I 


pg depend 


我 们 看 到 ， 它 主要 是 数据 字典 视图 。 


必 一 许多 数据 字典 表 和 视图 会 提供 各 种 对 象 、 对 象 类 型 、 权 限 等 的 相关 信息 。 这 些 为 集群 共同 管理 着 记录 活动 ; pg class Æ 
其 中 一 个 类 目 表 。 这 个 表 的 其 中 一 列 是 relname。 尽 管 它 看 上 去 像 是 要 存储 关系 / 表 名 称 ， 它 也 可 以 为 其 他 对 象 类 型 存储 数据 。 我 
们 应 该 将 它 与 列 relkind 一 起 使 用 。 列 relkind 告 诉 我 们 记录 指向 的 对 象 类 型 。relkind 可 能 包括 这 些 值 ， 如 r CE) i CREI) 、 
s (序列 ) 、v (视图 ) 等 。 


让 我 们 在 前 面 的 查询 中 删除 relname， 并 稍 作 修改 : 


SELECT 

c.relname, 

count (*) AS buffers 

FROM pg class c 

JOIN pg buffercache b 

ON b.relfilenode-c.relfilenode 

JOIN pg database d 

ON (b.reldatabase-d.oid AND d.datname-current database()) 
WHERE c.relname NOT LIKE 'pg$' GROUP BY c.relname 

ORDER BY 2 DESC; 


relname | buffers 


(0 rows) 


现在 ,我 们 将 尝试 使 用 用 户 创建 的 表 填 充 绥 ;中 区 。 我 们 将 首先 创建 一 个 表 ， 并 插入 一 条 记录 : 


[postgres@MyCentOS ~]$ psql -d test 

CREATE TABLE emp(id serial, first name varchar(50)); 
INSERT INTO emp(first name) VALUES('Jayadeva'); 
SELECT * FROM emp; 


id | first name 


1 | Jayadeva 
(1 row) 


Ss on 关键 字 是 指 自 增 整 数 类 型 。 运 用 这 个 关键 字 会 自动 创建 一 个 序列 号 生成 器 (SEQUENCE) ， 并 从 该 序列 中 对 列 
(emp 表 中 的 id) 进行 填充 。 有 关 数 字数 据 类 型 的 详细 信息 ， 请 参阅 : http://www.posteresql.org/docs/current/static/datatype- 
numeric.html#datatype-numeric-table。 有 关 序 列 的 详细 信息 ， 请 参阅 : http://www.posteresql.org/docs/current/static/sql- 


createsequence.html. 


我 们 可 以 重复 查询 ， 检 查 缓 冲 区 是 否 包含 新 创建 的 表 及 其 序列 : 


relname | buffers 
— — — — — — — — — — — — 路 一 一 一 一 一 一 一 一 一 
emp id seq | 1 
emp | 1 
让 我 们 对 查询 稍 作 修改 : 
SELECT 


c.relname, 
b.isdirty 
FROM pg class c JOIN pg buffercache b 
ON b.relfilenode=c.relfilenode 
JOIN pg database d 
ON (b.reldatabase-d.oid AND d.datname=current database () ) 
WHERE c.relname not like 'pg$'; 
relname | isdirty 


emp id seq | f 
emp | £f 


请 注意 ，isdirty 标 记 是 f (错误 ) : 


UPDATE emp SET first name ='Newname'; 
UPDATE 1 


如 果 我 们 继续 使 用 isdirty 标 记 ， 重 复查 询 组 ;中 区 ， 将 得 到 |: 
relname | isdirty 


emp id seq | f 
emp | 


输出 告诉 我 人们， 缓冲 区 是 脏 的 。 我 们 强制 设置 一 个 检查 点 : 


CHECKPOINT; 
CHECKPOINT 


重复 上 面 这 个 查询 : 


emp id seq | f 
emp | £ 
(1 row) 


现在 缓冲 区 不 再 是 脏 的 了 。 
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设置 检查 点 是 一 个 强制 性 的 过 程 。 为 了 更 好 地 理解 这 一 点 ， 接 下 来 我 们 讨论 一 下 区 块 。PostgreSQL 一 直 都 以 区 块 为 单位 ， 
进行 数据 的 读 取 和 写 入 。 例 如 emp 表 ， 它 只 有 一 条 记录 。 在 这 条 记录 中 ， 数 据 加 起 来 应 该 也 就 几 个 字 节 ; 我 们 在 列 id 中 有 数值 
1， 并 在 列 first name 中 有 数值 Newname。 然 而 ， 该 表 将 占用 8KkB 磁 盘 空 间 ， 因 为 PostgreSQL 需 要 使 用 8kB 区 块 进行 工作 。 区 


块 也 称 为 页 面 。 这 很 容易 验证 了 PostgreSQL 使 用 区 块 的 事实 。 确 保 我 们 的 表 中 有 一 条 如 下 的 记录 : 


SELECT * FROM emp; 
id | first name 
5—— — —— 

1 | Newname 
(1 row) 


然后 ， 我 们 找到 文件 名 : 


SELECT pg relation filepath('emp'); 
pg relation filepath 


base/24741/24742 
(1 row) 


现在 ， 我 们 来 检查 文件 的 大 小 : 
\! Is -1 /pgdata/9.3/base/24741/24742 


-YW------- . l postgres postgres 8192 Nov 15 11:33 
/pgdata/9.3/base/24741/24742 


8192 字 节 =8kB。 因 此 ， 这 张 只 有 一 条 记录 的 表 占 用 了 8kB 空 间 。 
让 我 们 尝试 插入 一 些 数 据 ， 看 看 会 友 生 什 么 : 


INSERT INTO emp(id , first name) SELECT 
generate series(1,5000000), 

'A longer name '; 

INSERT 0 5000000 


执行 几 次 前 面 的 查询 乙 后 ， 让 我 们 从 shell 提 示 中 ， 检 查 文 件 的 大 小 : 


[rooteMyCentOS 24741]# ls -lh 24742* 


-— e» . l postgres postgres 1.0G Nov 17 16:14 24742 
-YW------- . 1 postgres postgres 42M Nov 17 16:14 24742.1 
-YW------- . 1 postgres postgres 288K Nov 17 16:08 24742 fsm 
-YW------- . l postgres postgres 16K Nov 17 16:06 24742 vm 


这 样 ， 我 们 有 了 数据 库 目 录 和 表 文 件 。 在 这 些 文件 中 ， 数 据 均 以 区 块 为 单位 进行 管理 。 总 之 ， 一 个 PostgreSQL 集 群 的 物理 


布局 如 下 图 所 示 : 


用 户 创建 的 数据 库 Ctest) 


PGDAIA 





一 旦 用 户 改变 数据 (缓冲 区 中 提供 的 这 些 数据 ) ， 那 么 缓冲 区 就 变 脏 了 。 如 前 所 述 ， 事 实 上 ， 用 户 提 交 一 个 改动 ， 并 不 意味 
着 该 改动 已 写 入 数据 文件 中 。 而 是 需要 检查 点 进程 来 完成 这 项 工作 。 当 发 生 一 个 检查 点 操作 时 ， 所 有 脏 (修改 过 的 ) 的 页 面 均 会 
馈 写 入 表 和 这 引文 件 中 。 访 过程 也 标志 着 页 面 已 被 清理 干 争 。 这 也 将 预 写 日 志 标记 为 已 应 用 到 这 个 点 。 


全 查 点 是 事务 序列 中 的 点 ， 它 用 来 确保 堆 和 索引 数据 文件 已 更 新 完成 该 检查 点 之 前 的 所 有 信息 。 在 进行 检查 点 操作 的 时 候 ， 
所 有 脏 数 据 页 都 会 写 入 磁盘 ， 此 时 一 个 特殊 的 检查 点 记录 被 写 入 日 志文 件 中 。 到 现在 为 止 ， 变 更 记录 只 被 写 入 预 写 日 志文 件 中 。 
在 上 友 生 衣 溃 时 ， 骨 省 恢复 程序 查看 最 新 检查 点 记录 ， 通 过 日 志文 件 ( 称 为 重 做 记录 ) 中 的 点 来 确定 它 应 该 从 哪里 开始 进行 REDO 
操作 。 该 点 之 前 数据 文件 所 做 的 任何 更 改 都 已 经 保存 在 磁盘 中 。 因 此 ， 执 行 完 一 个 检查 点 之 后 ， 我 们 就 不 再 需要 这 个 点 之 前 的 包 
括 重 做 记录 的 日 志 区 段 ， 而 这 些 内 容 可 以 被 回收 或 清除 ， 具 体 参 考 http://www.postgresql.org/docs/current/static/wal- 


configuration.html, 


现在 的 问题 是 : 什么 时 候 出 现 一 个 检查 点 ? 在 某 种 程度 上 ， 由 我 们 来 决定 。 我 们 需要 几 个 参数 来 决定 一 个 检查 点 是 否 应 该 出 


现 ， 这 些 参 数 为 : checkpoint segments、checkpoint timeout 和 checkpoint completion target。 


第 一 个 参数 是 checkpoint_segments。 它 的 默认 值 是 3。 一 旦 3 个 WAL 区 段 得 到 填 序 ， 则 出 现 一 个 检查 点 。 每 个 WAL 区 上 段 是 
16 MB。 一 旦 形成 3 个 16 MB 的 WAL 区 段 ， 一 个 检查 点 束 应 该 出 现 。2.4 市 将 介绍 WAL。 


第 二 个 参数 是 checkpoint_timeout， 它 是 一 个 超时 值 ， 它 可 以 设置 为 秒 (默认 值 ) 、 分 钟 或 小 时 。 如 果 出 现 以 下 两 种 情况 
的 任意 一 种 ， 出 现 检查 点 : 


checkpoint_timeout 周 期 已 失效 。 
- WAL 的 checkpoint_segments 数 量 已 填 满 。 


让 我 们 考虑 一 个 具有 大 约 16 GB 共 享 缓冲 区 的 服务 器 。 访 服务 器 能 够 承担 大 量 负载 。 如 果 大 部 分 负载 是 由 写 入 数据 产生 的 ， 
那么 这 个 16 GB 的 缓冲 区 会 在 几 分 钟 之 内 变 脏 。checkpoint segments 的 较 低 设置 则 会 导致 可 用 的 区 段 在 短 时 间 内 就 被 填充 完 


且 频 繁 出 现 检查 点 。 同 样 ，checkpoint timeout 的 低 设置 也 会 导致 频繁 的 检查 点 。 这 将 导致 过 多 的 磁盘 吞吐 量 。 另 一 方面 ， 如 
果 我 们 将 这 些 值 设 置 得 非常 高 ， 则 不 会 出 现 频 繁 的 检查 点 。 而 在 以 写 入 为 主 的 系统 中 ， 这 可 能 会 导致 在 检查 点 出 现 显著 的 1/O 峰 
值 ， 而 这 样 会 影响 其 他 查询 的 性 能 。 另 一 个 参数 是 checkpoint completion_target， 可 以 通过 调整 该 参数 ， 在 一 定 程度 上 来 缓 


解 这 个 问题 。 


这 个 参数 告诉 PostgreSQL， 它 需要 在 每 一 次 达 代 过 程 中 以 多 快 的 速度 来 设法 完成 检查 点 操作 。 默 认 值 为 0.5。PostgreSQL 
可 以 在 下 一 个 检查 点 开始 之 前 ， 论 费 大 约 一 半 的 时 间 来 完成 每 个 检查 点 。 如 果 我 们 将 该 值 增 加 ， 比 如 况 增 加 a 到 0.9， 这 样 检查 点 
的 写 入 将 化 费 更 长 时 间 。 因 此 ，MO 峰 值 将 会 趋 于 平稳 。 


对 于 非 频繁 检查 点 以 及 大 量 的 脏 缓 冲 区 ， 其 中 一 个 问题 就 是 恢复 所 需 的 时 间 可 能 会 增加 。 在 数据 库 重新 局 动 的 情况 下 ， 例 如 
发 生 朋 演 ， 它 会 查找 出 最 后 一 个 检查 操 。 然 后 ， 它 将 重新 执行 最 后 一 个 检查 点 之 后 最 后 一 次 提交 之 前 的 所 有 事务 。 事 务 /变更 信 
息 将 通过 WAL 来 读 取 。 如 果 系统 衣 演 时 ， 脏 数据 量 非 党 大， 这 意味 着 在 数据 库 重 新 恢复 正常 工作 之 前 ， 程 序 需要 重复 大 量 的 事 
务 。 这 意味 着 更 长 的 停机 时 间 。 从 这 个 角度 出 上 友 ， 我 们 最 好 有 更 频繁 的 检查 点 ， 而 不 是 稀少 的 检查 点 。 恢 复 所 需 的 时 间 可 能 三 
checkpoint_timeout 值 一 样 高 。 关 于 该 参数 的 一 个 优秀 的 帖子 可 以 通过 链 
接 http://www.depesz.com/2010/11/03/checkpoint completion target/ 查 看 。 


当局 动 子 进程 结束 的 时 候 ， 或 者 当 开 始 一 次 数据 库 恢 复 的 时 候 ，postmaster 将 启动 检查 点 进程 。 它 会 一 直 活 着 ， 直 到 


postmaster 命 令 它 终止 。 


24 WALI 与 WAL 与 进程 


正如 前 文 所 提 及 的 〈 可 能 已 多 次 提 及 ) ， 当 修改 数据 的 时 候 ， 变 更 内 容 不 会 立即 写 入 数据 文件 中 。 更 改 的 内 容 以 区 块 为 单位 
人 存放 在 缓冲 区 中 ， 这 些 变更 记录 被 写 入 WAL 缓 冲 区 (只 要 数据 友 生变 化 ) 。 当 我 们 提交 变更 时 ， 这 些 变 更 便 会 更 新 到 WAL 区 
ER. 


在 pg_xlog 目 录 中 ， 每 个 WAL 区 段 都 有 16MB: 


[postgres@MyCentOS pg xlog]$ pwd 


/pgdata/9.3/pg xlog 
[postgres@MyCentOS pg xlog]$ ls -alrt 
total 16396 


drwx------ . 2 postgres postgres 4096 Oct 13 13:23 archive status 
drwx------ . 3 postgres postgres 4095 Oct I3 13:23 
drwx------ . 15 postgres postgres 4096 Nov 15 20:17 
-YW------- . 1 postgres postgres 16777216 Nov 15 20:17 


000000010000000000000001 


PostgreSQL 可 以 使 用 pg current xlog locationgjZiislTECESS ANKE: 


[postgres@MyCentOS pg xlog]$ psql 
psqli (9.3.0) 
Type "help" for help. 


postgres=# SELECT pg xlogfile name(pg current xlog location()); 
pg xlogfile name 


000000010000000000000001 
(1 row) 


这 个 名 称 并 不 是 随机 的 数字 组 合 。 它 由 三 部 分 组 成 ， 每 部 分 有 8 个 字符 : 
000000010000000000000001 
这 些 数 字 被 划 为 为 如 下 内 容 : 

> 第 一 个 8 位 数字 标识 时 间 表 。 

FEF RAL FIRS] (ES) Xlog 文 件 。 

最 后 的 8 位 数字 代表 (WH) XIog 文 件 〈 区 段 ) 。 


每 段 包 售 8K 大 小 的 区 块 。 通 党 情况 下 ， 当 一 个 区 段 被 填充 完成 后 ，PostgreSQL 便 从 这 个 区 段 移动 到 下 一 个 区 段 ， 也 束 是 ， 
所 有 16 个 MB 都 会 被 陆续 填 序 完成。 然而， 也 允许 触 友 这 个 开关 。 


这 里 有 许多 WAL 相 关 的 函数 ， 它 们 可 用 于 存档 、 恢 复 等 。 


例如 ，pPg_switch_xlog 移 动 到 下 一 个 事务 日 志文 件 ， 人 允许 当前 文件 进行 归档 。 如 果 继 上 次 事务 日 志 切 换 之 后 ， 并 未 出 现 事 
务 日 志 活 动 ，pg_switch_xlog 不 执行 任何 操作 ， 并 返回 全 当前 正在 使 用 的 事务 日 志文 件 的 起 始 位 置 。 


WAL 主 要 是 被 写 入 ， 很 少 被 读 取 。WAL 被 读 取 的 情况 存在 以 下 几 种 ， 包 括 : 
` 服务 器 启动 
- 复制 


我 们 一 起 来 看 看 WAL 的 一 些 用 途 。 
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瑟 台 写 入 器 负责 将 特定 脏 缓 冲 区 的 内 容 基于 一 种 算法 写 入 磁盘 ， 而 检查 点 进程 则 写 入 所 有 脏 组 ;中 区 。 这 个 过 程 需 要 考虑 共享 
内 存 使 用 的 数据 以 及 区 块 的 使 用 情况 (哪些 被 使 用 /哪些 近期 被 访问 ， 至 少 近 期 被 使 用 ) 。 该 过 程 的 主要 目的 是 确保 存 有 空闲 缓 
冲 区 可 供 使 用 。 相 天 参数 设置 如 下 : 


#bgwriter delay = 200ms # 10-10000ms between rounds 


#bgwriter lru maxpages = 100 # 0-1000 max buffers 
written/round 
#bgwriter lru multiplier = 2.0 # 0-10.0 multiplier on 


buffers scanned/round 


正如 我 们 所 看 到 的 ， 延 迟 的 默认 值 是 200 毫 秒 。 此 参数 指定 连续 执行 时 候 ， 进 程 所 需 等 待 的 时 间 。bgwriter Iru maxpages 
参数 指定 在 每 一 次 迭代 中 进程 写 入 的 缓冲 区 的 最 大 数量 。 第 三 个 参数 也 被 用 于 指定 所 需 缓冲 区 的 数量 。 如 果 此 值 被 设置 为 2 且 近 
期 平均 所 需 数量 (缓冲 区 数量 ) 预计 为 10， 当 有 20 个 缓冲 区 可 用 或 者 bgwriter_|ru_maxpages 已 经 被 写 入 时 ， 脏 缓冲 才 会 航 清 
BR 

当局 动 子 进程 完成 或 者 归档 恢复 局 动 的 时 候 ，bgwriter 国 数 由 postmaster 开 局。 之 后 它 一 直 运 行 ， 直 到 postmaster 命 令 它 
终止 。 关 于 执行 、 检 查 点 和 后 台 写 入 器 的 比较 ， 如 下 图 所 示 : 


后 台 写 人 器 


检查 点 (BA 
Wt BE IX ) 


缓冲 区 写 人 ) 





2.6 ” 目 动 清空 加 载 器 进程 


这 是 一 个 可 选 的 进程 。postgresql.conf 中 有 一 个 参数 叫 autovacuum， 其 默认 值 为 ON。 这 个 进程 自动 启动 清空 操作 ， 并 执 
行 基于 几 个 参数 的 分 析 命 令 。 为 了 了 解 自动 清空 ， 首 先 我 们 要 了 人 解 清空 。 


假设 我 们 从 表 中 删除 了 一 些 记录 。PostgreSQL 并 不 会 立即 从 数据 文件 中 删除 这 些 已 删除 的 元 组 。 它 们 会 被 标记 为 已 删除 。 
同样 ， 当 记录 被 更 新 时 ， 对 它 的 处 理 大 致 相当 于 做 一 次 删除 和 一 次 插入 的 标记 。 以 前 版 本 的 记录 仍然 保留 在 数据 文件 中 。 对 数据 
库 行 的 每 一 次 更 新 都 会 生成 该 行 的 新 版 本 。 理 由 很 简单 : 存在 活跃 的 事务 ， 其 希望 看 到 它 之 前 的 数据 。 如 此 ， 数 据 文件 中 将 有 大 
量 的 不 可 用 的 空间 。 一 段 时 间 之 后 ， 这 些 死记 录 便 会 变 得 无 天 崇 要 ， 因 为 周边 没有 事务 想 要 查看 老 的 数据 。 然 而 ， 由 于 空间 并 未 
逢 标记 为 可 重复 使 用 ， 插 入 和 更 新 (这 也 会 导致 插入 ) 将 友 生 在 数据 文件 的 其 他 页 面 。 


一 PostgreSQL 可 以 为 并 发 用 户 提供 不 同 版 本 的 数据 。 这 样 做 是 为 了 让 读 操 作 不 会 阻止 写 操作 ， 反 之 亦 然 。 其 通过 一 个 机 制 


来 实现 ， 这 个 机 制 被 称 为 多 版 本 并 发 控制 (MVCC) 。 我 们 将 在 第 4 章 中 详细 介绍 事务 、 隔 离 级 别 和 MVCC。 





清空 进程 对 先前 删除 的 (或 更 新 ) 的 记录 所 用 的 空间 进行 标识 ， 进 而 可 使 其 在 表 内 被 重新 使 用 。 对 此 ， 我 们 可 以 手动 下 达 一 


VACUUM FULL 除 了 将 空间 标记 为 可 重复 使 用 ， 同 时 也 对 删除 或 更 新 的 记录 进行 消除 并 对 表 数 据 进 行 重新 排序 。 这 需要 数 
据 表 上 有 一 个 排他 锁 。 


让 我 们 引用 一 个 例子 ， 来 看 看 清空 的 效果 。 首 先 ， 在 命令 提示 行使 用 createdb 命 令 ,， 创 建 一 个 新 的 数据 库 。 然 后 ， 使 用 
oid2name 命 令 ， 得 到 这 个 数据 库 的 目录 。 之 后 ， 我 们 将 对 此 目录 使 用 cd 命令 。 在 shell 提 示 行 下 ， 执 行 以 下 命令 : 


createdb vac 
oid2name | grep vac 


340081 vac pg default 
cd /pgdata/9.3/base/340081 
/psql -d vac 


以 下 命令 在 psql 命 令 行 执行 ， 连 接 到 数据 库 vac: 


\! pwd 
/pgdata/9.3/base/340081 
\! ls | head -5 

12629 

12629 fsm 

12629 vm 

12631 


12631 fsm 

CREATE TABLE myt (id integer) ; 
CREATE TABLE 

SELECT pg relation filepath('myt') ; 
pg relation filepath 


base/340081/340088 


(1 row) 


\! ls =1t 34* 
-YW------- l postgres postgres O0 Aug 18 11:19 340088 


馈 创 建 的 文件 是 340088， 我 们 可 以 在 文件 系统 中 看 到 它 : 


SELECT pg total relation size('myt') ; 
pg total relation size 


(1 row) 


INSERT INTO myt SELECT generate series (1,100000); 
INSERT O 100000 
SELECT pg total relation size('myt'); 
pg total relation size 
3653632 
(1 row) 


vac=# M ls -lt | head -5 
total 10148 


-YW------- l postgres postgres 3629056 Aug 18 11:23 340088 
“I= = == 1 postgres postgres 24576 Aug 18 11:23 340088 fsm 
-YW------- l postgres postgres 122880 Aug 18 11:22 12629 
-rw------- l postgres postgres 65536 Aug 18 11:22 12658 


正如 预期 的 ， 随 着 数据 不 断 插 入 ， 文 件 大 小 也 在 相应 增加 。 接 下 来 ， 我 们 从 表 中 删除 一 些 数 气 : 


DELETE FROM myt WHERE id> 5 AND id <100000; 
DELETE 99994 


SELECT pg total relation size('myt'); 
pg total relation size 


SELECT pg total relation size('myt'); 
pg total relation size 


3661824 
(1 row) 


可 以 看 到 ， 文 件 大 小 并 未 真正 有 所 下 降 。 现 在 ,我 们 将 插入 数据 ， 并 查看 文件 大 小 是 人 否 增 加 : 


INSERT INTO myt SELECT generate series (1,1000); 
INSERT O 1000 

select pg total relation size('myt'); 

pg total relation size 


3661824 


该 表 的 大 小 并 未 增加 ， 尽 管 我 们 插入 了 1000 条 记录 : 


\! ls -lt 34* 


-YW------- l postgres postgres 8192 Aug 18 11:25 340088 vm 
-rw------- 1 postgres postgres 3629056 Aug 18 11:23 340088 
-YW------- l postgres postgres 24576 Aug 18 11:23 340088 fsm 
VACUUM FULL myt; 

VACUUM 


SELECT pg total relation size('myt'); 
pg total relation size 


40960 (1 row) 


表 的 大 小 已 经 显著 减少 : 


SELECT pg relation filepath('myt') ; 
pg relation filepath 


base/340081/340091 

V ls -lt | head -5 

total 6588 

-rw------- 1 postgres postgres 0 Aug 18 11:29 340088 
-rw------- 1 postgres postgres 40960 Aug 18 11:29 340091 
-rw------- 1 postgres postgres 122880 Aug 18 11:28 12629 

-rw------- 1 postgres postgres 32768 Aug 18 11:28 12634 


文件 大 小 已 经 从 340088 增 加 至 340091。VACUUM FULL 人 | 建 了 一 个 新 的 空 文件 ,复制 了 那些 未 死 的 记录 ， 并 清空 了 原来 的 
文件 。 


使 用 “分 析 ” 选 项 执行 清空 ， 可 以 在 表 中 读 取 记 录 ， 并 生成 查询 规划 器 可 用 的 统计 信息 。 


目 动 清空 使 清空 进程 目 动 完成 。 我 们 建议 使 用 目 动 清空 进程 来 完成 数据 文件 的 清空 工作 ， 除 非 有 特定 的 理由 不 使 用 。 当 数据 
库 人 在 大 部 分 时 间 均 处 于 重负 载 的 时 候 ， 清 空 可 以 安排 在 非 高 峰 时 段 。 虽 然 ， 集 群 中 可 能 很 少 或 没有 删除 /更 新 操作 ， 单 规 清 空 依 
然 是 非常 有 用 的 ， 因 为 清空 可 以 更 新 规划 器 所 使 用 的 统计 数据 。 


2.7 日 志 进 程 


这 是 一 个 可 选 的 进程 ， 默 认 设 置 是 天 闭 的 。 我 们 必须 设置 logging_collector 参 数 为 开局 状态 ， 才 能 开始 这 一 进程 : 


cd $PGDATA 


编辑 postgresql.conf 文 件 ， 并 做 一 些 变 更 : 


log destination = 'stderr' 
logging collector = on 
log directory = 'pg log' 


log min duration statement = 0 


[postgresGMyCentOS 9.3]$ pg ctl restart 
waiting for server to shut down.... done 
server stopped 

server starting 


[postgres@MyCentOS 9.3]$ ps f -U postgres 


PID TTY STAT TIME COMMAND 

2581 pts/2 S 0:00 -bash 

3201 pts/2 R+ 0:00 \ ps f -U postgres 

2218 pts/1 S+ 0:00 -bash 

3186 pts/2 S 0:00 /usr/local/pgsql/bin/postgres 

3187 ? Ss 0:00 \ postgres: logger process 

3189 ? Ss 0:00 X postgres: checkpointer process 
3190 ? Ss 0:00 \ postgres: writer process 

3191 ? Ss 0:00 \ postgres: wal writer process 

3192 7 Ss 0:00 \ postgres: autovacuum launcher process 
A133 7 Ss 0:00 \ postgres: stats collector process 


让 我 们 看 看 已 经 开始 的 记录 器 进程 。 现 在 ， 记 录 有 很 多 参数 。 在 PostgreSQL 数 据 库 进 行 活动 记录 ， 这 个 操作 会 告知 数据 库 
正在 上 友 生 的 内 容 。 我 们 需要 最 大 限度 地 上 友 挥 这 个 功能 的 效益 。 如 果 进 入 pg_log 目 录 中 ， 可 以 看 到 日 志文 件 已 经 生成 ， 我 们 可 以 
查看 它们 。 


记录 器 将 捕捉 实用 程序 的 局 动 : 


LOG: database system is ready to accept connections 


LOG: autovacuum launcher started 


失败 的 登录 尝试 \: 


FATAL: role "hacker" does not exist 
应 用 程序 的 错误 : 


ERROR: function non existing function() does not exist at character 
8 


HINT: No function matches the given name and argument types. You 
might need to add explicit type casts. 


STATEMENT: select non existing function(); 
如 果 你 仔细 阅读 这 些 消息 ， 会 友 现 第 一 条 消息 被 标记 为 LOG， 第 二 条 被 标记 为 FATAL， 第 三 条 被 标记 为 ERROR。 


通过 使 用 这 种 标签 (严重 程度 ) ， 我 们 可 以 轻松 地 分 析 数 据 库 在 某 一 段 时 间 的 变化 : 有 多 少 失败 的 登录 尝试 、 有 多 少 应 用 程 
序 的 针 误 等 。 严 重 级 别 的 完整 列表 如 下 : 


严重 性 Hii 


INFO 这 提供 了 用 户 隐 式 请 求 的 信息 ， 例 如 ，VACUUM VERBOSE 的 输出 
NOTICE 这 提供 了 可 能 对 用 户 有 益 的 信息 ， 例如， 关于 长 标识 符 截 断 的 通天 
WARNING al 了 可 能 问题 的 警告 ， 例 如 ， 事 务 块 之 外 的 COMMIT 
ERROR 文 个 汇报 导致 当前 命令 中 止 的 错误 

LOG 这 个 汇报 管理 员 感 兴趣 的 信息 ， 例 如 ， 检 查 点 活动 

FATAL 文 个 汇报 导致 当前 对 话 中 止 的 销 误 

PANIC 文 个 汇报 导致 所 有 数据库 对 话 中 止 的 错误 


通常 情况 下 ， 我 们 使 用 触 友 器 ， 将 数据 插入 到 一 些 审计 表 中 ， 进 而 将 审计 表 数 据 中 的 变更 或 跟 踊 哪 个 人 试图 做 哪些 事情 。 在 
大 多 数 情 况 下 ， 触 友 器 与 表 相互 协作 。 但 是 ， 当 用 户 尝 试 插入 一 条 记录 但 尝试 失败 ， 这 时 候 插 入 到 审计 表 也 会 失败 。 由 于 
PostgreSQL 不 存在 目 治 事务 ， 那 么 一 个 值得 推荐 的 解决 万 法 便 是 使 用 dblink 插 入 审计 记录 。 这 目 身 也 会 成 为 一 个 事务 ， 且 将 会 
馈 提 交 ， 尽 管 触 友 这 个 的 插入 会 回 滚 。 


S X T PostgreSQL AF FFE, YF S d] http:/ / wiki.postgresql.org/wiki/Autono-mous subtransactionso X T-Jw f 38 We 
Jf dblink KE HL A 76 F F 4-06 34 36 4 4E A http: / /postgresql.1045698.n5.nabble.com/autonomous-transactions-td1978453.html, KT 
PostgreSQL #4 8 75 38 4-893436, "T YA E http: / /postgresql.1045698.n5.nabble.com/ Autonomous-Transaction-WIP- 
td5798928.html ; 


一 种 选择 是 使 用 RAISE LOG 进 行 审计 。 连 接 到 测试 数据 库 ， 创 建 一 个 函数 


CREATE OR REPLACE FUNCTION audit tbl () 
RETURNS trigger AS 


SBODYS 
DECLARE 
aud data text; 
BEGIN 
aud data =NEW.first name; 
RAISE LOG 'Audit data : %', aud data; 


RETURN NEW; 
END; $BODYS 
LANGUAGE plpgsql; 
CREATE TRIGGER emp trg 
BEFORE INSERT 
ON emp 
FOR EACH ROW 
EXECUTE PROCEDURE audit tbl(); 
INSERT INTO emp (first name) values ('Scott'); 


DE, ERGGXUERASIATFZRH. audit data f EDA "Nr (B. f RIBESEHSILEATOBUIEDA SE BRECK : 


time-2013-11-17 12:26:35 IST:db-test;user-postgres type-INSERT LOG: 
Audit data : Scott 


我 们 也 可 以 使 用 RAISE LOG 调 试 代码 。 
控制 记录 的 参数 有 很 多 。 它 可 以 被 分 成 三 组 ， 例 如 在 哪里 进行 记录 、 什 么 时 候 记 录 、 记 录 什 么 。 


像 往 常 一 样 ，PostgreSQL 文 档 中 天 于 这 些 参数 的 详细 摘 述 ， 可 以 查 


疯 http://www.postgresql.org/docs/current/static/runtime-config-logging.html。 
我 们 会 看 到 一 些 有 用 的 选项 ， 如 下 : 


log min duration statement = 0 


只 要 一 个 语句 运行 时 间 达 到 几 个 之 秒 ， 这 样 的 设置 束 会 将 每 个 已 完成 语句 的 持续 时 间 记 录 下 来 。 默 认 值 是 -1， 上 默认 值 茜 止 记 
录 语 句 的 持续 时 | 间 。 若 将 该 值 设置 调整 为 09， 其 可 以 记录 语句 的 持续 时 间 。 这 种 方法 结合 pgbadger (我 们 将 在 第 12 章 中 介绍 
这 样 的 分 析 工 具 一 起 使 用 ， 有 助 于 迅速 追查 慢 查 询 。 然 而 ， 在 每 一 秒 需 要 执行 数 百 条 查询 的 系统 中 ， 这 个 设置 会 导致 日 志文 件 大 
小 迅速 增加 。 所 以 ， 最 好 是 有 一 个 进程 ， 能 够 将 日 志文 件 移动 到 另 一 个 位 置 ， 此 时 如 pgbadger 这 样 的 工具 便 可 以 查找 日 志 
件 ， 并 生成 用 尸 界面 友好 的 报表 。 


log line_prefix 是 另 一 个 值得 关注 的 参数 。 借 助 此 参数 ， 我 们 可 以 使 用 格式 代码 ， 自 定义 日 志 语 句 ， 显 示 执行 语句 的 有 关 信 
息 。 可 被 捕获 的 信息 包括 哪个 用 户 在 执行 查询 、 在 哪个 数据 库 、 来 自 哪 台 主 机 、 执 行 时 间 (精确 到 毫秒 ) 是 多 少 ， 等 等 。 可 以 看 
到 该 值 ， 如 下 所 示 : 


log line prefix = 'time=%t:db=%d;user=%u ' 


当 文 件 中 进行 了 之 前 的 设置 ， 日 志 条 目 类 似 如 下 代码 : 
time=2013-11-16 20:10:00 IST:db=;user= LOG: parameter 
"log line prefix" changed to "time=%t:db=%d;user=%u " 


time=2013-11-16 20:10:13 IST:db=postgres;user=postgres LOG: 
duration: 183.970 ms statement: select count(*) from myt; 


time=2013-11-16 20:10:17 IST:db=postgres;user=postgres LOG: 
duration: 0.302 ms statement: select now(); 


time=2013-11-16 20:10:27 IST:db=postgres;user=postgres LOG: 
duration: 2.346 ms statement: insert into myt values(1); 


添加 type=%i， 如 此 前 缀 看 起 来 像 time=%t:db=%d;user=%u type=%i， 这 给 了 我 们 以 下 的 输出 : 


time=2013-11-16 20:28:57 IST:db=postgres;user=postgres type=SELECT 
LOG: duration: 0.151 ms statement: select now(); 


time=2013-11-16 20:28:58 IST:db=postgres;user=postgres type=INSERT 
LOG: duration: 3.385 ms statement: insert into myt values (1); 


log_line_prefix 是 另 一 个 非常 有 用 的 参数 ， 它 可 以 以 非常 详细 的 目 定 义 格 式 进行 登录 。 我 们 可 以 使 用 日 志文 件 ， 对 数据 库 中 
上 友 生 的 事项 进行 分 析 。 


一 些 有 用 的 前 缀 选项 如 下 : 


描述 


90a 应 用 名 称 





有 毫秒 的 时 间 戳 


em 数据 库 名 称 = ERRE 
%r we fe EHLE ng %c 会 话 ID 

%h 远程 主机 9o] 该 会 话 的 日 志 行 数 
%p 进程 ID %s WDE HY TR] HE 
%t Jcz& Fb AY pa] EK 





注意 ， 


log line_prefix 参 数 并 不 与 csvlog 选 项 同时 工作 。 


tien 正在 记录 所 有 SQL 语句 ， 上 日 志文 件 在 活动 服务 器 上 往往 会 增长 得 非常 迅速 。 如 此 ， 我 们 非常 有 必要 设置 一 个 进 


， 来 压缩 并 将 文件 从 生产 服务 器 中 移 除 。 另 一 个 选择 是 将 日 志 


28 ”统计 信息 收集 器 进程 


顾名思义 ， 进程 收集 有 天 数据 库 的 统计 数据 。 


括 磁 盘 区 块 和 独立 的 行 单元 。 它 也 跟踪 数据 表 的 记录 数 ， 并 跟 蹊 清空 和 分 析 操 作 。 
新 的 统计 计数 到 收集 器 。 其 结果 是 ， 许 多 相关 的 计数 不 会 反馈 


用 状态 之 前 I Bak 


数据 被 记录 在 一 组 表 中 。 我 们 可 以 通 


AM. 
XZ. 
\d pg stat 


按 两 次 Tab 键 ， 列 出 所 有 的 视图 ， 如 下 命令 所 示 : 


postgres=# \d pg stat 

pg stat activity 

pg statio user tables 

pg stat all indexes 

pg statistic 

pg stat all tables 

pg statistic relid att inh index 
pg stat bgwriter 

pg stat replication 

pg stat database 

pg stats 

pg stat database conflicts 
pg stat sys indexes 

pg statio all indexes 

pg stat sys tables 


过 使 用 \d+i 


写 入 到 单独 的 分 区 ， 最 好 写 入 一 个 价格 便宜 的 高 


过 PostgreSQL 提 供 的 一 系列 视图 来 访问 这 些 数 据 。 视 图 以 pg_stat 开 始 。 


容量 磁盘 。 


进程 ， 默 认 值 为 后 动 。 这 个 进程 跟踪 对 表 和 索引 的 访问 ， 包 
这 里 ， 我 们 需要 注意 的 是 每 一 个 进程 都 会 在 空 
运行 中 事务 的 活动 。 


输入 以 下 命 


pg statio all sequences 
pg stat user functions 
pg statio all tables 

pg stat user indexes 

pg statio sys indexes 

pg stat user tables 

pg statio sys sequences 
pg stat xact all tables 
pg statio sys tables 

pg stat xact sys tables 
pg statio user indexes 
pg stat xact user functions 
pg statio user sequences 
pg stat xact user tables 


选项 ， 我 们 可 以 知道 某 个 视图 从 哪里 获取 的 数据 : 


postgres=# \d+ pg statio user tables 


View "pg catalog.pg statio user tables" 


Column | Type | Modifiers | Storage | Description 
----------------- +--------+-----------+---------+------------- 
relid | oid | | plain | 
schemaname | name | | plain | 
relname | name | | plain | 


View definition: 
SELECT pg statio all tables.relid, 
pg statio all tables.schemaname, 
pg statio all tables.relname, 
pg statio all tables.heap blks read, 
pg statio all tables.heap blks hit, 


pg statio all tables.tidx blks hit 

FROM pg statio all tables 

WHERE (pg statio all tables.schemaname «» ALL 

(ARRAY['pg catalog'::name, 'information schema'::name])) 


AND pg statio all tables.schemaname !~ '^pg toast'::text; 


因此 ， 它 是 pg statio all tables 视 图 中 的 数据 子 集 。 那 pg statio all tables 如 何 ? 


postgres=# \d+ pg statio all tables 
View "pg catalog.pg statio all tables" 
Column | Type | Modifiers | Storage | Description 


schemaname | name | | plain | 


relname | name | | plain | 
heap blks read | bigint | | plain | 
tidx blks hit | bigint | | plain | 


View definition: 
SELECT c.oid AS relid, 
n.nspname AS schemaname, 
c.relname, 


pg stat get blocks fetched(c.oid) - 
pg stat get blocks hit(c.oid) 
AS heap blks read, 

pg stat get blocks hit(c.oid) AS heap blks hit, 

sum(pg stat get blocks fetched(i.indexrelid) - pg stat get blocks 
hit(i.indexrelid))::bigint AS idx blks read, EMEN i 

sum(pg stat get blocks hit(i.indexrelid))::bigint AS 
idx blks hit, 

pg stat get blocks fetched(t.oid) - pg stat get blocks hit (t.oid) 
AS toast blks read, 

pg stat get blocks hit(t.oid) AS toast blks hit, 

pg stat get blocks fetched(x.oid) - 
pg stat get blocks hit (x.oid) 
AS tidx blks read, 

pg stat get blocks hit(x.oid) AS tidx blks hit 

FROM pg class c 

LEFT JOIN pg index i ON c.oid - i.indrelid 

LEFT JOIN pg class t ON c.reltoastrelid - t.oid 

LEFT JOIN pg class x ON t.reltoastidxid - x.oid 

LEFT JOIN pg namespace n ON n.oid - c.relnamespace 

WHERE c.relkind - ANY (ARRAY['r'::"char", 't'::"char", 
'g'*:"char"]l) 
GROUP BY c.oid, n.nspname, c.relname, t.oid, x.oid; 


忌 之 ， 统 计 信息 收集 器 进程 跟踪 一 些 项 目 ， 将 这 些 项 目 更 新 到 一 些 表 中 。 之 后 ， 我 们 可 以 获得 建立 在 这 些 表 之 上 的 视图 ， 进 
而 提供 一 个 有 天 数据 库 活动 的 合理 的 且 格 式 正确 的 输出 。 跟 路 统计 视图 将 有 利于 放大 频繁 访问 的 表 ， 识 别 被 索引 的 列 ， 也 可 以 通 
过 配置 服务 器 参数 来 提供 输入 (如 shared_buffers 和 其 他 的 存储 区 域 ) 。 一 些 视图 (pg stat replication) 提供 复制 状态 的 相关 
言 息 (WALA&ISHEE) 。 


这 里 有 几 个 函数 可 以 用 于 管理 统计 信息 。 例 如 pg stat reset(0， 其 可 重 置 当 前 数据 库 的 所 有 统计 计数 器 ， 使 其 归 零 : 


test=# SELECT relname, n tup ins FROM pg stat user tables; 


relname | n tup ins 

"nen FIERET 
emp | 2 
dept | 0 
(2 rows) 


结果 显示 ， 两 条 记录 已 经 被 插入 到 表 emp 中 : 


test=# SELECT pg stat reset(); 
pg stat reset 


(1 row) 
test=# SELECT relname, n tup ins FROM pg stat user tables; 
relname | n tup ins 

—— erp 

emp | 0 

dept | 0 

(2 rows) 


计数 器 已 被 重 置 为 0。 我 们 可 以 插入 一 条 记录 : 


test=# INSERT INTO emp (first name) VALUES ('Scottnew') ; 
INSERT 0 1 
test=# SELECT relname, n tup ins FROM pg stat user tables; 


relname | n tup ins 
SM RS 
emp | 1 
dept | 0 
(2 rows) 

计数 器 已 递增 。 


对 于 统计 数据 的 收集 ， 同 时 也 存在 一 组 参数 。 部 分 参数 的 默认 值 为 启动 ， 而 其 他 的 为 关闭 。 我 们 来 看 看 其 中 的 一 些 参 数 。 


这 些 是 默认 禁用 的 计数 器 ， 包 括 log statement stats, log parser stats, log planner stats, log executor stats 以 及 


track io timing, 


而 默认 启用 的 计数 器 包括 track activities, update process title 以 及 track counts, 


2.9 ”WAL 友 运 器 和 和 WAL 接收 器 


PostgreSQL 的 最 新 版 本 引入 了 两 个 进程 ， 主 要 是 为 了 支持 复制 进程 。 友 送 器 进程 向 备用 服务 器 友 送 WAL， 而 接收 器 则 从 从 


Tomi ES. 


到 目前 为 止 ， 我 们 已 经 介绍 了 大 部 分 关键 进程 以 及 一 个 大 存储 区 域 : shared buffers。 但 是 ， 我 们 还 需要 向 你 介绍 几 个 重要 
的 内 存 区 域 。 让 我 们 在 进入 下 一 个 章节 之 前 ， 来 进行 这 部 分 内 容 的 学 习 。 


2.10 ”使 用 work_mem 在 内 存 中 进行 排序 


PostgreSQL 使 用 两 个 重要 的 参数 ， 在 会 话 级 别 对 内 存 进行 分 配 和 使 用 。 我 们 可 以 在 PostgreSQL 的 数据 目录 下 ， 通 过 执行 以 
下 命令 来 获得 它们 ， 具 体 如 下 : 


grep work postgresql.conf 
#work mem = 1MB # min 64kB 


maintenance work mem = 16MB # min 1MB 


第 一 个 参数 是 work_mem。 其 默认 值 被 设置 为 1 MB， 最 小 值 为 64KB。 这 些 内 存 大 小 锌 用 来 完成 切换 到 临时 磁盘 文件 之 前 
的 内 部 排序 操作 与 散 列 表 操 作 。 最 后 一 部 分 是 至 天 重要 的 (如果 未 分 配 足 够 的 内 存 ， 它 会 导致 物理 |/0O) ， 这 必然 会 导致 响应 时 
间 的 高 峰值 。 因 此 ， 将 该 值 设置 得 越 高 狐 似 越 好 。 然 而 ， 这 并 不 像 sShared_buffers 一 样 在 服务 器 层级 进行 分 配 。 其 被 分 配给 每 个 
用 户 。 长 全 是 在 一 个 得 询 内 ， 如 果 有 多 个 排序 操作 并 联 ， 每 一 个 操作 都 可 能 运行 到 此 参数 的 最 大 设置 值 。 因 此 ， 如 果 我 们 一 直 保 
寺 默 认 的 max_connections (100) ， 并 决定 将 其 增加 至 32 MB， 如 果 许 多 单独 的 会 话 正 在 进行 重 排序 ， 我 们 最 终 可 能 会 使 用 超 
过 3 GB 的 内 存 。 


更 好 的 选择 是 在 对 话 层 面 增加 该 值 。 这 主要 是 针对 我 们 知道 要 处 理 的 数据 量 将 变 多 ， 然 而 我 们 仍 需 要 一 个 短暂 的 响应 时 间 的 
情况 : 


postgres=# INSERT INTO myt select generate series (1,1000000); 
postgres=# CREATE TABLE myt (id serial); 
postgres=# SET work mem = '64kB'; 
postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE 7 i 
datname = 'postgres'; 

temp files | temp bytes 


9 | 284303360 


(1 row) 


postgres=# SELECT * FROM ( SELECT * FROM myt ORDER BY id ) t 
limit 1000; 
id 


postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE " " EE 
datname - 'postgres'; 
temp files | temp bytes 
—Ó—S  —i— awe 
10 | 312320000 


最 后 ，sort 操 作 建 六 了 一 个 临时 文件 : 


postgres=# SHOW work mem; 


work mem 


postgres=# SET work mem to '1MB'; 
SET 
postgres=# SHOW work mem; 

work mem 


(1 row) 


postgres=# SELECT * FROM ( SELECT * FROM myt ORDER BY id ) t 
limit 1000; 


id 


postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE 
datname - 'postgres'; 

temp files | temp bytes 


10 | 312320000 
(1 row) 


惜 时 文件 的 数量 并 未 增加 。 


2.11 使 用 maintenance work mem 进行 维护 


这 个 内 存 区 是 由 诸如 清空 等 操作 所 使 用 的 。 例 如 针对 work_mem 来 说 ， 分 配 的 空间 会 影响 维护 活动 的 完成 时 间 。 使 用 该 区 
域 的 典型 活动 包括 分 析 、 浓 空 、 创 建 奈 引 、 再 索引 等 。 


石 要 显示 此 值 的 影响 是 非常 容易 的 ， 如 下 命令 所 示 : 


postgres=# \timing on 


Timing is on. 
忆 当 我 们 在 psql 提 示 行 时 ， 使 用 定时 设置 是 一 个 好 主意 。 


仓 在 一 个 单列 的 数据 表 ， 其 包括 了 几 百 条 记录 : 


postgres=# SELECT pg size pretty(pg table size('myt')); 
pg size pretty 


postgres=# SELECT current database(); 
current database 


postgres 
(1 row) 
Time: 1.152 ms 


postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE datname - 'postgres'; 


temp files | temp bytes 


4 | 120143872 
(1 row) 


Time: 17.547 ms 


截至 目前 ， 数 据 库 中 仔 在 4 个 临时 文件 : 


postgres=# CREATE INDEX myindex ON myt (id); 
CREATE INDEX 
Time: 3477.075 ms 


postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE datname - 'postgres'; 


temp files | temp bytes 


5 | 160186368 
(1 row) 
Time: 11.900 ms 
postgres=# DROP INDEX myindex; 
DROP INDEX 
Time: 17.686 ms 
postgres=# CREATE INDEX myindex on myt (id); 
CREATE INDEX 
Time: 3213.370 ms 


postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE datname = 'postgres'; 


temp files | temp bytes 


6 | 200228864 
(1 row) 


Time: 11.433 ms 

postgres=# DROP INDEX myindex; 
DROP INDEX 

Time: 17.625 ms 


每 个 系 引 创建 都 会 增加 临时 文件 的 数量 。 现 在 ， 让 我 们 增加 维护 工作 内 存 : 


postgres=# SET maintenance work mem TO '1GB'; 


SET 
Time: 0.359 ms 
postgres=# CREATE INDEX myindex ON myt (id); 
CREATE INDEX 
Time: 2894.212 ms 
postgres=# SELECT temp files, temp bytes FROM pg stat database 
WHERE datname = 'postgres'; 
temp files | temp bytes 


(1 row) 


Time: 11.328 ms 


没有 更 多 的 临时 文件 。 让 我 们 重新 设置 maintenance_work_mem。 


postgres=# RESET maintenance work mem; 
RESET 
Time: 0.425 ms 


postgres=# SHOW maintenance work mem; 


maintenance work mem 


由 于 使 用 pg_restore 来 恢复 数据 库 通 弟 会 包括 系 引 创建 ， 我 们 建议 在 使 用 pg_restore 时 候 ， 增 加 


maintenance work_mem, 


S oc gestore 具 用 来 从 由 pg_dump 所 创建 的 档案 文件 中 恢复 PostgreSQL 数 据 库 。 





这 两 个 设置 的 默认 值 在 PostgreSQL 9.4 版 已 向 上 调 高 。 


了 解 effective_cache size 


这 不 是 一 个 配置 设置 。 这 也 不 是 一 个 缓存 或 类 似 于 我 们 之 前 讨论 的 组 ,中 区 。 这 个 设置 只 是 告诉 PostgreSQL 单 一 的 查询 需 
多 少 人 磁盘 缓存 。 这 个 区 域 不 是 由 数据 库 保留 的 ， 而 是 优化 器 使 用 其 来 完成 查询 执行 计划 的 。 


我 们 已 经 介绍 了 大 部 分 重要 的 缓冲 区 。 另 外 还 有 执行 日 志 (Commit Log, CLOG) 缓冲 区 ， 来 存储 每 个 事务 (这 些 事务 已 
MOET SSID) 的 执行 状态 ; 其 他 仔 储 区 包括 剩余 空间 地 图 ， 其 跟踪 数据 页 中 的 剩余 空间 ;目录 缓 仔 ， 其 保存 系统 目录 信 
Aa, SS. 


尽 一 我 们 将 在 第 8 章 中 介绍 如 何 优化 这 些 参数 。 


总 之 ， 如 下 是 不 同 的 缓冲 区 在 系统 中 运行 PostgreSQL 的 示意 图 : 





2.12 ”小结 


本 草 讨论 了 PostgreSQL 中 几 个 重要 的 进程 和 内 存 结构 。 我 们 也 看 到了 一 些 配置 项 的 设置 可 以 有 效 地 捕捉 服务 器 上 的 活动 数 
据 ， 并 使 用 它们 来 进一步 优化 数据 库 性 能 。 在 下 一 草 中 ， 我 们 将 了 解 表 空 间 、 模 式 和 角色 这 些 概念 。 也 将 看 看 这 些 概 念 是 如 何 相 
互 天 联 ， 以 及 如 何 使 用 它们 来 解决 安全 和 逻辑 分 离 的 问题 。 


第 3 章 PostgreSQL 一 一 对 象 层 次 和 角色 


在 前 一 章 中 ， 我 们 讨论 了 在 PostgreSQL 内 部 使 用 的 重要 进程 和 内 存 结构 。 本 章 将 探讨 一 些 主题 ， 比 如 表 空 间 、 数 据 库 、 模 
陈 、 角 色 和 相关 项 目 ， 便 于 我 们 的 用 户 切 始 化 集群 以 及 在 集群 中 创建 对 象 。 


3.1 PostgreSQL 集 群 


我 们 先 讨 论 PostgreSQL 的 集群 。 这 个 概念 非常 重要 ， 因 为 集群 这 个 词 在 不 同 的 数据 库 中 指 的 是 不 同 的 事情 。 在 Oracle 中 ， 
它 通 党 意味 着 真正 应 用 集群 (Real Application Cluster, RAC) ,当然 ， 在 MySQL 中 也 存在 聚集 表 ， 这 一 术语 主要 是 指 一 个 内 
存 数 据 库 的 解决 方案 。 在 这 些 情况 下 ， 集 群 不 是 必须 存在 的 。 然 而 ，PostgreSQL 则 不 然 。 在 PostgreSQL 数 据 库 中 ， 如 果 你 有 一 
个 工作 中 的 数据 库 ， 就 意味 着 你 拥有 一 个 集群 。 在 PostgreSQL 中 ， 集 群 是 指 一 组 数据 库 ， 其 使 用 同一 配置 文件 并 响应 公共 端口 
的 请 求 。 属 于 集群 的 那些 数据 库 使 用 一 个 共同 的 文件 系统 位 置 。 存 在 一 套 共 同 的 后 台 进 程 和 内 存 结构 (例如 这 一 组 数据 库 使 用 的 
共享 缓冲 区 ) 。 在 上 一 章 中 ， 当 我 们 执行 initdb 时 ， 就 初始 化 了 一 个 PostgreSQL 集 群 。 


在 服务 器 上 运行 多 个 PostgreSQL 集 群 是 可 能 的 〈 虽 然 实际 操作 中 并 不 推荐 这 种 做 法 ) ， 只 要 它们 在 不 同 的 端口 响应 ， 并 具 
备 单独 的 仓储 区 域 。 


PostgreSQL 无 法 提供 一 种 独特 能 力 ， 比 如 去 限制 集群 使 用 的 CPU， 或 者 为 数据 库 / 用 户 和 查询 设置 优先 级 。 每 个 集群 均 可 作 
为 使 用 计算 机 资源 的 唯一 实体 。 因 此 ， 不 建议 在 一 个 服务 器 上 运行 多 个 PostgreSQL 集 群 ， 尤 其 当 它们 其 中 一 个 在 执行 关键 任务 
的 时 候 。 


VAN 78 KAS & "T VA W]http:/ /wiki.postgresql.org/wiki/Prioritizing databases by. separating into multiple clusters. 





3.2 了解 表 空 间 


PostgreSQL 在 第 8 版 中 介绍 了 表 空 间 这 一 概念 。 在 PostgreSQL 中 ， 表 空间 是 文件 系统 中 位 置 的 一 个 链接 ， 即 一 个 目录 。 这 
是 一 个 可 以 保存 所 有 其 他 对 象 的 容器 ， 如 表 、 索 引 等 。 


有 很 多 情况 下 ， 这 样 的 功能 是 非常 有 用 的 ， 即 在 一 个 位 置 存储 数据 ， 而 不 是 在 默认 的 位 置 。 存 在 这 样 一 个 场景 ， 即 当 我 们 用 
完 切 始 化 数据 库 集群 所 使 用 的 分 区 上 的 空间 ， 束 可 能 要 使 用 表 空间 。 另 一 种 情况 可 能 是 ， 我 们 知道 不 同 的 数据 库 /对 象 的 使 用 模 
陈 ， 且 出 于 性 能 考虑 ， 想 要 移动 具体 对 象 到 不 同 的 磁盘 上 。 我 们 可 以 在 一 个 快速 磁盘 的 表 空 间 上 创建 一 组 频 每 访问 的 对 象 ， 或 者 
数据 库 可 以 在 快速 磁盘 上 文 持 事务 性 系统 ， 而 那些 文 持 数据 仓库 /报告 系统 且 要 求 更 宽松 的 啊 应 时 间 的 可 以 在 较 慢 的 磁盘 上 运 


fT. 


当 我 们 初始 化 一 个 集群 的 时 候 ， 可 以 得 到 两 个 默认 表 空 间 ， 一 个 表 空 间 称 为 pg default。 所 有 用 户 创建 的 且 并 未 指定 一 个 
表 空 间 的 对 象 将 在 pg default 表 空间 内 被 创建 。 默 认 表 空间 的 位 置 : pg_default 是 PGDATA 下 的 基础 目录 。 另 一 个 表 空间 是 
pg_global， 它 持 有 集群 中 所 有 数据 库 共 享 的 系统 表 。 


我 们 将 切换 到 pg tblspc 目 录 ， 创建 一 个 表 ， 看 看 会 发 生 什么 。 然 后 ， 我 们 使 用 DROP TABLE IF EXISTS 语 法 ， 如 果 表 已 存 
在 的 话 则 删除 ， 并 再 次 创建 表 。 在 shell 命 令 提 示 行 使 用 以 下 命令 ， 更 改 目录 : 


cd /pgdata/9.3/pg tblspc 


通过 执行 下 方 命令 来 确保 postgres 是 /pgdata 的 拥有 者 : 


chown postgres /pgdata 


然后 ， 作 为 postgres 用 户 ， 执 行 : 


mkdir /pgdata/tbll 


然后 ， 登 录 psql， 执 行 SQL 语句 ， 如 下 所 示 : 

CREATE TABLESPACE mytablespace LOCATION '/padata/tbl1'; 
下 图 说 明了 前 面 的 命令 : 
postgres=# \! pwd 


/pgdata/9.3/pq tblspc 
ls -l 





postgres=# CREATE TABLESPACE mytablespace LOCATION '/pgdata/tbll'; 


CREATE TABLESPACE 

Time: 2.256 ms 

postgres=# X! 1s -l 

total 0 

Lrwxrwxrwx 1 postgres postgres 12 Sep 1 12:33 350500 -> /pgdata/tbLll 





正如 上 图 所 示 ， 我 们 可 以 看 到 ， 有 一 个 链接 被 命名 为 356500， 它 指向 /pgdata/tbl1 目 录 。 如 果 我 们 使 用 -s 选 项 ， 执 行 
oid2name， 可 以 看 到 ， 它 是 表 空 间 的 OID。 


我 们 可 以 创建 一 个 表 并 指定 表 空间 。 如 果 我 们 不 指定 表 空间 ， 它 会 进入 默认 的 表 空间 。 参 考 以 下 创建 表 的 SQL 语 句 和 所 创建 
的 文件 : 


DROP TABLE IF EXISTS emp; 

DROP TABLE IF EXISTS dept; 

CREATE TABLE emp(id int, first name text); 

CREATE TABLE dept (id int, dept name text) tablespace mytablespace; 


WV! oid2name -d test 


下 图 说 明了 前 面 的 命令 : 


test=# DROP TABLE IF EXISTS emp; 
DROP TABLE 
test=# DROP TABLE IF EXISTS dept; 
DROP TABLE 
test=# CREATE TABLE emp(id int, first name text); 
CREATE TABLE 
test=# CREATE TABLE dept (id int, dept name text) tablespace mytablespace; 
CREATE TABLE 
test=# X! oid2name -d test 
From database "test": 
Filenode Table Name 


356588 
356574 


J 
test=# M! find /pgdata -type f \( -name 356580 -0 -name 356574 \) 
/pgdata/tbll/PG 9.3 201306121/331880/356580 
/pgdata/9.3/base/331880/356574 
test=# SELECT pg relation filepath('emp'); 
pg relation filepath 


base/331880/356574 
(1 row) 


test=# SELECT pg relation filepath('dept'); 
pg relation filepath 


pg tblspc/356580/PG 9.3 201306121/331880/356580 
(1 row) 





请 注意 ， 将 命令 的 前 缀 捐 定 欠 \! 表明 我 们 已 经 在 psq|l 提 示 行 执行 了 shell 命 令 。 我 们 将 在 第 6 章 中 介绍 这 个 功能 及 其 他 相关 
的 psql 功 能 。 我 们 也 可 以 使 用 OR， 通 过 find 命 令 的 -o 选 项 指示 的 来 找到 名 字 为 a 或 者 b 的 文件 。pg_relation _filepath0 消 数 可 以 
用 来 获得 任何 天 系 的 整个 路 径 (相对 于 PGDATA 路 径 ) 。 


我 们 可 以 看 到 ， 物 理 空间 的 目录 内 有 一 个 子 目 录 ， 其 名 字 取 决 于 PostgreSQL 服 务 器 的 版 本 。 在 版 本 特定 的 子 目 录 下 ， 每 个 
数据 库 都 拥有 另外 一 个 子 目 录 ， 其 包含 以 数据 库 OID 命 名 的 表 空 间 中 的 元 素 。 表 和 索引 都 存储 在 该 目录 下 ， 使 用 文件 代码 命名 方 


re 


Fo 


我 们 看 一 个 元 数据 视图 ， 了 解 它 对 表 和 表 空 间 的 摘 述 : 


SELECT tablename, tablespace FROM pg tables WHERE tablename IN 
('emp','dept'); 


tablename | tablespace 
I— — dees T — —— — 
emp | 

dept | mytablespace 
(2 rows) 


dept 值 在 表 空 间 mytablespace 中 ， 而 创建 emp 时 并 未 指定 表 空间 ， 在 表 空 间 列 中 有 一 个 空 值 。 我 们 可 以 为 每 个 数据 库 指定 
默认 表 空 间 ， 也 可 以 为 一 个 用 户 设置 默认 表 空 间 ， 如 下 代码 所 示 : 


test=# ALTER DATABASE test SET default tablespace='mytablespace' ; 
ALTER DATABASE 

test=# CREATE USER myuser; 

test=# ALTER USER myuser SET default tablespace='mytablespace' ; 
ALTER ROLE 


‘Que RA PostoresQLJR 4-35 器 上 没有 默认 表 空 间 ， 那 么 当 我 们 在 另外 一 个 服务 器 上 执行 恢复 的 过 程 中 会 有 一 个 额外 的 步骤 ; 
必须 确保 表 空 间 指 向 的 目录 存在 于 该 服务 器 上 。 


3.3 数据库、 模式 与 search path 


根据 文档 所 摘 述 的 ， 数 据 库 是 SQL 对 象 的 合 名 集合 。 我 们 无 法 从 一 个 数据 库 直 接 访 问 另 一 个 数据 库 中 的 对 和 用 。 如 前 所 述 ， 我 
们 可 以 使 用 数据 库 链 接 (或 外 部 数据 封 滚 器 ) ， 来 访问 其 他 数据 库 。 


NUT PostgreSQL ER 中 ， 均 会 存在 两 种 模板 数据 库 : template0 5 templatelo 35 41148 Jf] CREATE DATABASE DB1; 创 建 
数据 库 的 时 候 ， 就 会 创建 一 个 templatel 数据 库 的 副本 。 如 果 我 们 在 templatel 中 有 一 些 用 户 创建 的 表 ， 其 中 有 一 些 master 数 据 ， 这 
些 表 将 会 被 复制 到 新 的 数据 库 中 。 如 果 我 们 想 创建 一 个 hewdb 数 据 库 ， 使 其 成 为 用 户 创建 的 数据 库 mydb 的 副本 ， 我 们 可 以 使 用 


CREATE DATABASE NEWDB TEMPLATE mydb. 





另 一 个 重要 的 概念 是 模式 (schema) ， 它 是 一 个 容器 或 者 数据 库 内 的 一 个 命名 空间 。 我 们 在 数据 库 中 创建 的 任何 对 象 ( 例 
Az. zxS|. WES) 都 会 在 一 个 模式 下 被 创建 。 可 以 用 各 个 模式 将 同一 数据 库 中 相关 的 对 象 组 合 在 一 起 。 在 一 定 程度 上 ， 这 些 
可 以 让 人 联想 到 MySQL 的 数据 库 概 念 。 我 们 可 以 从 相同 的 链接 中 访问 不 同 模式 下 的 对 象 。 


当 创 建 对 象 时 ， 如 果 示 指定 模式 ， 这 些 对 每 将 会 在 默认 的 模式 下 被 创建 ， 这 个 模式 叫 作 public。 一 个 例外 情况 是 另 一 个 模式 
竺 先 出 现在 search_path， 我 们 之 后 会 对 此 进行 详细 探讨 。 让 我 们 来 看 看 emp 以 及 之 前 创建 的 dept 表 上 友 生 了 什么 变化 : 


test=# SELECT schemaname, tablename FROM pg tables WHERE tablename 
IN('emp', 'dept') ; 


schemaname | tablename 
e —— 
public | emp 
public | dept 

(2 rows) 


创建 一 个 新 的 模式 ,: 


test=# CREATE SCHEMA mynewschema; 
CREATE SCHEMA 


在 这 个 模式 下 创建 一 些 表 : 


test=# CREATE TABLE mynewschema.emp (id integer, first name text) ; 
CREATE TABLE 

test=# CREATE TABLE mynewschema.empl (id integer); 

CREATE TABLE 


将 数据 插入 emp1 表 中 : 


test=# INSERT INTO empi(id) VALUES (1); 
ERROR: relation "empl" does not exist 
LINE 1: INSERT INTO emp1 (id) VALUES (1); 


哪里 出 了 问题 呢 ? 关于 对 象 的 可 见 性 ， 我 们 现在 必须 讨论 一 个 非常 天 键 的 设置 : search_path。 它 非常 类 似 于 UNIX 以 及 
Windows 操 作 系 统 中 的 PATH 环境 变量 。 当 我 们 输入 一 个 命令 的 时 候 ， 系 统 便 会 使 用 该 名 称 ， 在 PATH 中 的 目录 列表 或 者 文件 夹 
中 搜索 可 执行 的 对 象 ， 并 使 用 首 个 友 现 的 对 象 。 相 类 似 ，PostgreSQL 则 会 使 用 一 个 叫 search_path 的 设置 ， 识 别 出 它 应 该 在 哪 
里 ， 对 用 户 试图 访问 的 对 象 进 行 搜索 。 这 里 提供 了 一 些 有 用 的 会 话 信息 函数 (Session Information Function) ， 有 利于 我 们 来 
获得 这 些 值 的 相关 信息 : 


test=> SELECT current schema; 
current schema 


test=> SELECT current schemas (true); 
current schemas 


pg catalog,public 
Z 1 bli 
(1 row) 


current_schemakgukBlixt#—MaR: 对 象 被 创建 到 哪个 模式 下 ， 并 且 current_schemas 为 我 们 提供 了 search_path 模 
式 中 所 呈现 的 模式 列表 。 可 以 看 到 ， 我 们 所 创建 的 新 模式 并 不 存在 于 该 路 径 中 : 


test=# SHOW search path; 
search path 


"Susser" public 
(1 row) 


让 我 们 添加 新 的 模式 到 search_path : 


test=# SET search path-"S$user",public,mynewschema; 
SET 
test=# SHOW search path; 


search path 


"$user", public, mynewschema 
(1 row) 


test=# INSERT INTO empl (id) VALUES (1); 
INSERT O 1 


让 我 们 尝试 将 记录 插入 emp 表 中 ， 该 表 是 我 们 所 创建 的 ， 由 于 在 此 数据 库 中 有 两 张 表 ， 分 别 在 两 个 不 同 的 模式 下 使 用 相同 
的 名 称 : 


test=# INSERT INTO emp(id, first name) VALUES (1,'OldOne'); 
INSERT 0 1 
test=# SELECT * FROM emp; 

id | first name 


1 | OldOne 
(1 row) 


test=# SET search path="Suser",mynewschema, public; 
SET 
test=# SELECT * FROM emp; 

id | first name 


很 明显 ， 模 式 的 顺序 是 非常 天 键 的。 我 们 尝试 先 放 mynewschema， 然 后 再 创建 一 张 表 : 


test=# SET search path=mynewschema, "Suser", public; 

SET 

test=# CREATE TABLE dept( id integer, dept name text); 

CREATE TABLE 

test=# SELECT tablename, schemaname FROM pg tables WHERE tablename = 


'dept'; 

tablename | schemaname 
"TES Mons E 
dept | public 

dept | mynewschema 
(2 rows) 


到 目前 为 止 ， 我 们 应 该 已 经 清楚 search path 的 重要 性 。 除 了 在 会 话 的 运行 时 间 中 设置 search_ path ， 如 上 述 代码 所 示 ， 还 
可 以 在 配置 文件 中 设置 默认 的 search_path。 我 们 可 以 在 /pgdata/9.3 下 的 postgresql.conf 中 查看 该 参数 。 


[postgres@MyCentOS 9.3]$ grep search path postgresql.conf 


#search path = '"Suser",public' # schema names 


另外 ， 也 可 以 使 用 SET SCHEMA 命 令 ， 如 下 所 示 : 


postgres=# SHOW search path; 
search path 


"Suser",public 


(1 row) 


postgres=# SET SCHEMA  'mynewschema'; 
SET 

postgres=# SHOW search path; 

search path 

mynewschema 


(1 row) 


也 可 以 使 用 ALTER USER 合 令 。 以 超级 用 户 身份 登录 ， 如 postgres: 


test=# ALTER USER myuser SET search path=mynewschema; 
ALTER ROLE 

test=# \q 

[postgres@MyCentOS -]$ psql -U myuser -d test 

peg (9.3.0) 

Type "help" for help. 


test=> SHOW search path; 


search path 


mynewschema 


(1 row) 
所 以 ， 我 们 可 以 在 不 同 层级 〈 用 户 、 数 据 库 和 会 话 ) ， 以 不 同 的 方式 来 设置 search_path (配置 文件 和 命令 行 ) 。 
由 于 可 以 在 不 同 的 级 别 对 此 参数 进行 设置 ， 我 们 可 能 会 遇 到 一 些 意外 情况 ， 如 果 不 注意 它 的 设置 方式 。 例 如 : 
:如果 参 数 在 数据 库 级 别 或 服务 器 级 别 进行 重 置 ， 现 有 链接 并 不 会 使 用 新 的 值 。 
“ 我 们 可 能 在 数据 库 级 别 设置 该 参数 ,但 将 使 用 用 户 级 别 设置 的 参数 (可 能 是 一 个 不 同 的 值 ) 。 
在 会 话 级 别 进 行 的 参数 设置 ， 将 不 会 用 于 其 他 新 的 链接 。 
如 果 我 们 创建 一 个 与 用 尸 相 同名 称 的 模式 ， 这 个 模式 将 会 被 优先 搜索 。 


KW 当 使 用 各 个 模式 时 ， 我 们 可 能 会 遇 到 更 具体 的 问题 。 具 体 请 参阅 http://www.postgresonline.com/journal/archives/279- 





Schema-and-search_path-surprises.html, http://blog.endpoint.com/2012/11/postgresql-searchpath-behaviour.html, VA 


Ahttp://petereisentraut.blogspot.in/2009 /07 /schema-search-paths-considered-pain-in. html. 


在 默认 情况 下 ， 用 户 不 能 访问 属于 其 他 用 户 的 任何 对 象 。 为 了 让 各 个 用 户 能 够 使 用 其 他 模式 下 的 对 象 ， 我 们 需要 授权 额外 的 


权限 〈 例 如 ， 表 上 的 SELECT 和 UPDATE) , 


不 像 数据 库 那 样 ， 各 个 模式 并 未 被 严格 加 以 区 分 : 一 个 用 户 可 以 访问 数据 库 中 任何 模式 下 的 对 象 ， 假 定 该 用 户 具有 相关 操作 


权限 。 


所 以 ， 在 一 个 PostgresQL 和 集群 中 的 对 象 可 航 摘 述 为 如 下 的 示意 图 : 


PostgreSQL EF} 









postgresql templateO 





templatel 


public. pg... public. pg... public. pg... 


catalog... \{catalog... _| \jcatalog... 


user created database 


数据 库 





new schema 


public. pg... 


| table tl, view vl... 
catalog... = > 


模式 使 用 案例 
我 们 来 看 看 模式 可 以 提供 帮助 的 一 些 情况 : 


“ 在 用 户 需要 处 理 互 斥 的 数据 集 的 系统 中 ， 可 以 为 每 个 用 户 创建 一 个 模式 ， 并 且 出 于 安全 性 考虑 ， 每 个 用 户 仅 能 访问 自身 的 
模式 。 


在 软件 即 服 务 (SaaS) 模式 下 ， 出 于 安全 性 /数据 分 离 考虑 ， 可 以 为 每 个 客户 端 创建 一 个 模式 ， 如 此 我 们 可 以 整理 出 客户 
特定 的 数据 模型 变动 。 如 有 必要 的 话 ， 它 也 允许 跨 客户 端 之 间 的 数据 共享 。 


. 在 复杂 的 系统 中 ， 例 如 企业 资源 管理 (ERP) ， 存 在 成 百 上 千张 表 ， 针 对 不 同 的 模块 (财务 、 人 力 资 源 、 生 产 计划 等 ) 使 
用 不 同 的 独立 模式 ， 将 提高 数据 库 的 可 维护 性 。 


在 前 面 的 情况 下 ， 对 于 那些 需要 查看 该 数据 的 超 集 (superset) 的 用 户 ， 可 以 将 不 同 模式 下 的 表 联 合 起 来 创建 视图 。 
我 们 也 可 以 实现 使 用 不 同 的 数据 库 来 执行 前 面 的 用 例 。 然 而 ， 这 种 方法 也 存在 一 些 问 题 ， 列 举 如 下 : 


| 要 查看 数据 的 一 个 超 集 ， 我 们 必须 依靠 外 部 数据 封装 器 来 连接 所 有 数据 库 ， 这 将 导致 一 个 复杂 的 设置 。 


当 我 们 使 用 外 部 数据 封装 器 时 ， 查 询 执行 时 间 也 有 可 能 变 得 不 可 预知 ， 尤 其 是 要 连接 本 地 表 与 远程 表 时 ， 或 者 通过 链 路 传 
输 的 数据 量 非 常 大 时 。 


3.4 角色 和 权限 


我 们 已 经 探讨 了 集群 、 数 据 库 、 模 式 和 对 象 ， 接 下 来 讨论 使 用 这 些 对 象 的 人 ， 他 们 也 被 称 为 用 户 。 在 PostgreSQL 中 ， 一 个 
角色 几乎 与 一 个 用 户 相 同 ， 因 为 一 个 角色 可 以 是 用 户 也 可 以 是 一 个 用 户 组 。CREATE USER 命 令 等 同 于 CREATE ROLE， 除 了 一 
Fa: CREATE USER 可 以 隐 合 LOGIN 权 限 ， 而 CREATE ROLE 不 会 。 所 以 ， 如 果 我 们 需要 创建 登录 的 用 户 ， 应 该 使 用 CREATE 
USER。 在 下 面 的 命令 中 ， 我 们 看 看 区 别 : 


postgres=# CREATE USER my user; 

CREATE ROLE 

postgres=# CREATE ROLE my role; 

CREATE ROLE 

postgres=# Mq 

[postgres@MyCentOS -]$ psql -U my user -d postgres 
psql (9.3.0) 

Type "help" for help. 


用 户 可 以 登录 : 


postgres-» Mq 

[postgres@MyCentOS -]$ psql -U my role -d postgres 
FATAL: role "my role" is not permitted to log in 

psql: FATAL: role "my role" is not permitted to log in 


角色 不 能 登录 。 我 们 必须 清晰 地 给 出 登录 优先 级 : 


[postgreseMyCentOS ~]$ psql 

psql (9.3.0) 

Type "help" for help. 

postgres=# ALTER ROLE my role WITH login; 

ALTER ROLE 

postgres=# Mq 

[postgres@MyCentOS -]$ psql -U my role -d postgres 
psql (9.3.0) 

Type "help" for help. 

postgres-» Mq 


f 
O, 
s 


一 各 个 角色 是 整个 群集 所 共享 的 。 它 们 不 是 某 个 数据 库 特 有 的 。 


最 重要 的 角色 可 能 是 postgres 这 个 角色 ， 因 为 它 具 备 超 级 用 户 属 性 。 如 前 面 所 提 及 的 ， 具 有 超级 用 户 属 性 的 角色 名 称 并 不 
一 定 是 postgres。 我 们 可 以 使 用 任何 用 户 来 初始 化 集群 ， 并 且 在 集群 切 始 化 之 后 ， 可 以 使 用 它 为 所 创建 的 新 用 户 提供 超级 用 户 
属性 。 我 们 可 以 在 psq| 提 示 行 使 用 du 命令 来 检索 现 有 角色 的 列表 。 像 往 音 一样，+ 选 项 也 做 出 了 相关 说 明 : 


postgres=# \du+ 
List of roles 


Role name | Attributes | Member 
of | Description 

— — — — — — — — — — — 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 
一 一 一 十 — — — — — — — — — — — — — 
my role | | U 

| 
my user | | U 

| 
m | | U 
postgres | Superuser, Create role, Create DB, Replication | {} 


postgres=# ALTER USER my user WITH superuser; 
ALTER ROLE 
postgres=# \du+ 

List of roles 


Role name | Attributes | Member 
of | Description 
— — — — — — — — — — — 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 
一 一 一 十 — æ æ wm。 we iw iw iw wm ws wm = mm 
my role | | {} 
| 
my user | Superuser | {} 
| 
myuser | | {} 
| 
postgres | Superuser, Create role, Create DB, Replication | {} 


我 们 可 以 给 my_user 分 配 一 个 超级 用 户 属 性 ， 并 且 确 认 变 更 已 被 反映 到 系统 中 。 值 得 注意 的 是 ， 新 创建 的 用 户 可 以 连接 到 数 
据 库 ， 但 不 能 做 其 他 任何 操作 ， 如 从 一 个 表 中 检索 数据 。 以 my_role 身 份 登录 test: 


psql -U my role -d test 
test=> SELECT current user; 


current user 


test=> \d emp 
Table "public.emp" 


Column | Type | Modifiers 
ORO UM "———Á— ——— 
id | integer | 
first name | text | 


test=> SELECT * FROM emp; 
ERROR: permission denied for relation emp 


为 了 在 数据 库 实 现 有 效 操作 ， 用 户 必 须 获得 相关 权限 。 与 任何 其 他 数据 库 一 样 ， 权 限 可 以 针对 数据 库 级 别 或 单个 对 象 级 别 
(E WE, BAS) 进行 设 定 。 权 限 的 类 型 可 以 是 只 读 (SELECT) 、 读 写 (DELETE/UPDATE/INSERT) 或 者 执行 函数 
(EXECUTE) 。 创 建 或 删除 对 象 的 权限 与 之 前 提 及 的 读 / 写 /执行 权限 相互 独立 。 以 postgres 身 份 登录 test 数 据 库 : 


test=# GRANT ALL ON emp TO my user; 


GRANT 
test=# GRANT SELECT ON emp TO my role; 
GRANT 
test=# GRANT INSERT ON emp TO myuser; 
GRANT 


我 们 可 以 授权 给 其 他 用 尸 ， 之 后 获得 一 张 神秘 的 权限 列表 ， 在 psq| 提 示 行 ， 命 令 \dp+emp; 


如 下 图 所 示 : 


test=# \dp+ emp; 


Access privileges 
Schema | Name | Type | Access privileges | Column access privileges 
-------- +------+-------+---------------------------+-------------------------- 
public | emp | table | postgres=arwdDxt/postgres+| 
| my user=arwdDxt/postgres +| 
| my role=r/postgres +| 
| myuser=a/postgres | 





在 前 面 的 输出 中 ，my_user 有 arwdDxt 所 有 权限 、my_role 有 只 读 权 限 (r, i) 、myuser 有 插入 (a， 追 加 ) 权限 。 由 dp 
命令 输出 的 可 能 值 列 于 下 表 中 : 


tà 含义 人 含义 
| à Dm 
Ww 与 (更 新 ) TU 使 用 
| T 
i um 
D (IB 临时 的 
2x 所 有 权限 
BEDS UE 


我 们 可 以 以 一 个 易于 理解 的 查询 格式 得 到 权限 输出 : 








vA 


— 


SELECT pu.usename , pc.tbl, pc.privilege type 
FROM pg user pu JOIN ( 
SELECT  oid::regclass tbl, (aclexplode(relacl)).grantee, 
(aclexplode(relacl)).privilege type FROM pg class 


WHERE 
relname-'emp' 


) pc ON pc.grantee-pu.usesysid; 


下 图 显示 了 上 面 的 命令 : 


test=# SELECT pu.usename , pc.tbl, pc.privilege type 
FROM pg user pu JOIN ( 
SELECT oid::regclass tbl, (aclexplode(relacl)).grantee, 
(aclexplode(relacl)).privilege type FROM pg class WHERE relname='emp' 
) pc ON pc.grantee-pu.usesysid ; 
privilege type 


| SELECT 
postgres INSERT 
postgres SELECT 
postgres | UPDATE 
postgres | DELETE 
postgres TRUNCATE 
postgres np | REFERENCES 
postgres en TRIGGER 
my user INSERT 
my user SELECT 
my user 7 UPDATE 
my user | DELETE 
my user TRUNCATE 
my user | REFERENCES 
my user | TRIGGER 
myuser INSERT 
(16 rows) 





请 通过 链接 http://www.postgresql.org/docs/current/static/sql-grant.html， 查 阅 PostgreSQL 文 档 ， 可 以 获得 GRANT 
命令 为 用 户 和 角色 授权 的 具体 内 容 。 


角色 的 另 一 个 重要 特点 是 它们 可 以 被 继承 。 因 此 ， 我 们 可 以 使 用 grant SELECT on table t1 to role1&grant role11 to 
role2; 这 样 role2 束 有 了 table t1 的 SELECT 权限 。 


让 我 们 来 看 看 一 些 角 色 和 权限 的 用 例 。 我 们 可 以 创建 一 个 report_ user 角 色 ， 然 后 在 一 组 表 中 将 SELECT 权限 授予 这 个 角色 。 
然后 ， 我 们 可 以 为 那些 从 事 报 告 工作 的 个 人 创建 用 户 ， 并 将 report_user 授 权 给 这 些 用 户 。 当 其 中 一 个 用 户 离开 部 门 时 ， 我 们 只 
要 删除 该 用 户 所 创建 的 登录 即 可 。 


当 我 们 选择 横向 扩展 (我 们 将 在 第 10 草 中 进行 相关 介绍 ) ， 且 从 节点 仅 用 于 只 读 查 询 的 时 候 ， 使 用 只 读 角色 是 比较 安全 
的 。 当 所 有 对 从 节点 的 访问 都 是 通过 只 读 角 色 时 ， 我 们 可 以 肯定 的 是 不 存在 任何 对 从 节点 的 写 操作 。 


3.5 小结 
本 章 介 绍 了 表 空 间 (针对 其 他 对 象 的 容器 ) 这 一 概念 。 还 讨论 了 视图 和 表 ， 特 别 是 临时 表 以 及 PostgreSQL 特 有 的 概念 ， 例 


如 数据 库 、search_path 和 模式 。 我 们 也 看 到 了 如 何 管理 权限 和 访问 控制 。 


下 一 章 将 讨论 事务 这 一 概念 。 我 们 也 将 看 到 PostgreSQL 如 何 管 理 并 发 。 


第 4 章 ”使 用 事务 进行 工作 


到 目前 为 止 ， 我 们 已 经 介绍 了 PostgreSQL 的 安 委 、 重 点 对 象 (数据 库 和 模式 ) 与 高 层次 的 架构 。 现 在 让 我 们 来 了 解 一 下 数 
据 库 使 用 过 程 中 最 重要 的 一 个 概念 : 事务 。 关 系 型 数据 库 (不 论 是 在 PostgreSQL、Oracle、DB2， 或 是 SQL Server) 能 够 为 不 
同 的 隔离 级 别提 供 事务 控制 ， 这 种 能 力 决定 了 其 用 来 支持 关键 应 用 的 时 候 的 当家 地 位 ， 特 别 是 应 用 中 数据 完整 性 是 非常 重要 的 情 
况 下 。 人 和 凭借 其 久 经 考验 的 事务 处 理 能 力 ， 尽 管 在 一 段 时 间 内 ，NoSQL 数 据 库 似 乎 赢得 了 大 多 数 的 关注 并 占据 了 各 种 博客 空间 ， 
但 是 关系 型 数据 库 管 理 系 统 依然 成 功 地 维持 着 自己 的 地 位 。 在 本 章 中 ， 我 们 将 学 习 事务 的 理论 基础 ， 也 将 看 到 PostgreSQL 如 何 


管理 事务 和 并 友 性 。 


4.1 了 解 事务 


事务 是 由 一 个 或 多 个 SQL 语句 组 成 ， 其 将 数据 库 从 一 个 一 致 的 状态 移 到 另 一 个 状态 。 最 音 见 的 例子 便 是 事务 将 钱 从 一 个 账户 
转 到 另 一 个 账户 中 。 让 我 们 举例 来 解释 。 


创建 一 个 表 ， 模 拟 几 个 可 能 的 万 案 : 


[root@MyCentOS ~]# psql 

psql (9.3.0) 

Type "help" for help. 

postgres=# CREATE USER bank PASSWORD 'bank'; 


CREATE ROLE 
postgres-4 ALTER USER bank WITH createdb; 


ALTER ROLE 
postgres=# \c test bank 


You are now connected to database "test" as user "bank". 
test-» CREATE DATABASE accounts; 


CREATE DATABASE 


test-» \c accounts; 
You are now connected to database "accounts" as user "bank". 


accounts=> CREATE TABLE account (id serial PRIMARY KEY S, 
first name varchar(100), last name varchar(100), account bal 


numeric (10,2)); 
CREATE TABLE 


一 旦 做 到 这 一 点 ， 我 们 融 可 以 使 用 一 些 数 据 来 填充 表 ， 进 而 模拟 一 个 具有 几 上 自 万 客户 的 银行 。 对 此 ， 我 使 用 了 web2py 框 以 
的 数据 生成 组 件 。 


NEN 


~web2py 是 一 个 免费 的 开源 框架 ， 用 来 开发 数据 库 驱 动 、 基 于 Web 的 应 用 程序 。 了 解 如 何 使 用 web2py 来 产生 虚拟 数据 ， 请 


访问 以 下 链接 : http://web2py.com/books/default/chapter/29/14/other-recipes#Populating-database-withdummy-datao 


LA PIG: 


accounts=> SELECT COUNT(*) FROM account; 
count 


1915046 


(1 row) 


ME, LIKE ARABS : 


accounts=> SELECT * FROM account WHERE account bal = ( 
SELECT max(account bal) FROM account 

) 

UNION 

SELECT * FROM account WHERE account bal = ( 

SELECT min(account bal) FROM account 

) ; 


id | first name | last name | account bal 
-~-------- $------------4------------4------------- 
1890988 | Paulina | Coburn | 0.00 
1828027 | Hyon | Aspell | 0.00 

2 | William | Blake | 7000000.00 
535889 | Riley | Truden | 0.00 


有 相当 多 的 账户 余额 是 零 。 现 在 ， 如 果 威 廉 .布莱克 决定 转 $10000 给 莱 利 ; 士 登 ， 我 们 来 看 看 具体 应 该 如 何 操作 ， 逻 辑 如 下 : 
1.1D 值 为 2 的 账户 是 否 有 足够 的 资金 (一 个 READ/SELECT 语 句 ) ? 

2. 如 果 有 的 话 ， 对 ID 值 为 2 的 账户 扣除 $10000 (一 个 WRITE/UPDATE 语 句 ) 。 

3. 添 加 $10000 到 1D 值 为 535889 的 账号 中 (一 个 WRITE/UPDATE 语 句 ) 。 


为 了 使 系统 从 一 个 一 致 的 状态 移动 到 另 一 个 状态 中 (这 是 一 个 事务 应 该 实现 的 ) ， 或 两 种 状态 的 更 新 都 同时 工作 ， 抑 或 两 种 
状态 都 应 该 回 深 。 如 果 第 一 种 状态 的 更 新 在 工作 ， 而 第 二 种 失败 了 〈 由 于 服务 器 月 汗 ) ， 该 数据 库 将 处 于 一 个 不 一 致 的 状态 中 。 
这 里 将 有 $10000 从 会 计 账 簿 中 失 中 。 我 们 可 以 添加 $10000 到 账户 ID 535889， 然 后 再 从 威廉 -布莱克 的 账户 金额 中 扣除 。 如 果 贷 
记 成 功 但 借 记 失败 ， 银 行 账户 中 将 会 有 $10000 下 落 不 明 。 第 一 个 方法 的 流程 图 如 下 : 




















实际 上 ， 可 能 要 涉及 多 个 表 ， 其 中 可 能 是 一 张 事务 表 ， 它 记录 了 账 尸 ID、 交易 类 型 ( 借 记 或 贷 记 ) 、 金 额 、 日 期 /交易 的 时 
间 等 信息 ， 并 且 在 此 表 中 可 能 有 两 个 分 别针 对 受 影 响 的 两 个 账户 的 插入 操作 。 

当 我 们 处 理 的 是 一 个 电子 商务 网 站 ， 一 个 业务 事务 可 能 涉及 几 个 完全 不 同 的 系统 ， 如 电子 商务 网 站 支持 系统 、 实 际 的 供应 商 
系统 ( 想 想 通过 亚马逊 开展 销售 的 零售 商 ) 、 支 付 处 理 系统 等 。 因 此 ， 一 个 事务 最 终 会 跨越 许多 系统 边界 。 然 而 在 这 里 ， 我 们 涉 
及 分 布 式 事务 的 领域 。 现 在 我 们 谈论 的 一 个 事务 ， 指 的 是 数据 库 边 界 内 的 一 个 工作 逻辑 单元 。 接 下 来 ， 让 我 们 介绍 事务 的 ACID 
属性 。 


事务 的 ACID 属性 


ACID 属性 包括 以 下 内 容 : 
人 A 是 原子 性 


本 标题 中 提 到 的 逻辑 单元 即 是 ATOMIC， 解 释 起 来 残 是 A (dE) -TOM (分 片 / 切 开 ) -ic。 因 此 ， 要 么 所 有 的 SQL 语 句 均 被 
执行 ， 要 么 全 部 都 未 被 执行 ， 这 正 是 我 们 在 前 述 流 程 图 中 所 实现 的 内 容 。 


这 其 中 需要 相当 多 的 阐述 。 隔 离 意 味 着 用 户 并 不 会 受 同 一 时 间 段 内 其 他 用 尸 操 作 的 影响 。 看 上 去 各 个 事务 是 按照 一 前 一 后 的 
顺序 串联 友 生 的 ， 尽 管 在 现实 中 可 能 存在 数 百 个 并 友 事 务 。 当 你 在 网 上 传输 人 资金， 你 会 客 得 你 是 唯一 一 个 在 使 用 该 系统 的 用 己 。 
忌 之 ， 你 看 不 到 其 他 用 户 使 用 该 系统 给 你 市 来 的 影响 。 另 外 ， 其 他 人 也 感受 不 到 你 的 行动 给 他 们 市 来 的 影响 。 


然而 ,不 像 原子 性 和 一 至 性， 这 不 是 一 个 简单 明了 的 概念 ， 主 要 原因 是 业务 影响 。 让 我 们 来 看 两 个 例子 。 首 先 ， 考 虑 周末 飞 
行 到 拉 斯 维 加 斯 的 飞机 上 只 剩 下 一 个 座位 的 情况 。 我 们 应 该 如 何 处 理 隔离 ? 假设 一 个 客户 已 经 选择 了 最 后 一 个 空位 ， 点 击 了 预 
定 ， 并 正在 查看 票 价 的 详细 信息 。 而 在 这 个 时 间 点 上 ， 每 个 人 都 只 能 看 到 零 库存 ? 这 些 看 到 零 库 存 的 用 户 可 能 会 在 另 一 家 航空 公 
司 预 订 机 票 ， 而 这 位 抢 到 最 后 一 张 票 的 用 户 最 后 决定 不 预定 这 张 尾 票 。 在 这 种 情况 下 ， 首 先 这 是 一 个 商业 决定 ， 其 次 这 可 以 通过 
隔离 级 别 来 实现 。 

让 我 们 也 查看 一 份 报表 ， 目 的 是 来 找 出 银行 总 账户 余额 。 假 设 这 个 事务 从 ID 2 账户 转账 $10000 到 ID 535889F EG. AREN 
报表 查询 : 


SELECT SUM(account bal) FROM ACCOUNT; 
此 聚合 过 程 的 步骤 是 进行 逐 行 扫 摘 ， 并 不 断 增加 余额 。 我 们 把 这 称 为 事务 T1， 将 资金 转移 事务 称 为 T2。 


在 下 面 的 表格 中 ， 我 们 将 时 间 点 标记 为 pP1、p2、p3 等 ， 在 每 个 时 间 点 上 T1 和 T2 的 交易 状态 被 列举 在 T1 和 T2 列 中 : 


时 间 点 T2 
pl 
p2 开始 
p3 借 记 账户 ID 2 
p4 贷 记 账户 ID 535889 
» 是 交 
p6 添加 各 个 ID 余额 ……，535889，…… 到 SUM 





pó 


如 果 所 有 提交 的 更 改 都 对 求 和 查询 可 见 ， 它 可 能 会 增加 $10000 两 次 。 在 本 章 的 后 面 ， 我 们 将 看 到 PostgreSQL 的 多 版 本 并 发 
控制 (MVCC) 如 何 处 理 这 种 情况 的 。 


很 明显 从 这 两 个 例子 中 看 出 ， 用 户 /会 话 可 见 的 数据 版 本 在 很 大 程度 上 取决 于 商业 育 景 。 这 里 并 没有 一 个 完美 的 隔离 级 别 。 


记 住 这 一 点 ， 让 我 们 接着 看 一 下 SQL 的 标准 隅 离 级 别 。 


这 是 最 轻松 、 最 低 程度 的 隔离 。 在 一 个 会 话 中 所 做 的 数据 更 改 可 以 对 其 他 会 话 可 见 ， 即 便 是 在 它们 提交 之 前 。 这 人 被 称 为 脏 的 
读 操 作 。 让 我 们 看 看 有 脏 的 读 操 作 会 如 何 影 响 威廉 .布莱克 的 账户 ， 当 他 将 $10000 转 移 给 莱 利 ` 土 登 


时 间 点 T1 (威廉 Mkr) T2 (FF - 土 登 ) 


p2 选择 莱 利 的 账户 ， 输 入 $10 000 


点 击 提交 (数据库 开始 事务 ， 改 变 两 个 账户 的 账户 余 
p3 ”| 额 ， 并 在 更 新 操作 执行 之 后 ， 从 账户 中 检索 余额 ， 这 时 
修 更 改 还 没 执行 ) 


看 到 一 个 屏幕 ， 写 着 “在 这 之 后 ， 你 的 余额 将 变 为 








P^ — 56990 000 美元 。 确认 /取消 2?” 哆 新 他 的 屏 知 ， 看 到 余额 增加 了 $10 000 
a / (H : 
p> 
96 |] IRE ALA HHMLY f $10 000 
提交 的 读 取 


在 这 个 层面 上 ， 在 其 他 会 话 中 已 提交 的 数据 变更 将 对 其 他 会 话 可 见 。 未 提交 的 变更 对 其 他 会 话 是 不 可 见 的 。 所 以 ， 脏 恋 现 象 
不 会 友 生 。 然 而 ， 我 们 无 法 保证 相同 的 SELECT 语句 在 一 个 事务 中 的 两 次 执行 能 够 获得 相同 的 结果 。 如 果 另 一 个 会 话 改变 了 数据 
并 在 同一 间 提 交 变 更 ， 第 二 次 执行 可 能 获得 不 同 的 结果 。 这 意味 着 有 可 能 是 不 可 重复 的 读 取 。 用 于 实现 这 个 操作 的 锁 机 制 将 比 用 
在 前 面 摘 述 的 隔离 级 别 的 更 加 严格 。 


在 这 个 层面 上 ， 讨 论 的 是 幻像 读 取 。 连 续 选择 返回 的 数据 集 可 能 已 经 因为 另 一 个 会 话 插入 了 记录 而 友 生 变动 ， 而 这 些 插入 操 
作 都 是 满足 标准 和 承诺 的 。 这 些 都 是 影子 记录 。 然 而 ,符合 SELECT 自 身 标准 的 结果 集会 被 锁定 ， 因 而 其 不 会 接受 男 一 个 会 话 的 
修改 。 这 是 提交 的 读 和 可 重复 的 读 两 种 隔离 的 天 键 区 别 。 这 意味 着 锁定 级 别 变 得 更 为 严格 。 


让 我 们 看 一 下 幻像 读 取 : 


时 间 点 T2 


SELECT COUNT(*) FROM accounts where 





pl balance < 1000 and balance > 100 (returns 1500) 
UPDATE accounts SET 

à balance = 500 where ID = 
123 and balance = 1500: 
commit: 

p3 SELECT COUNT(*) FROM accounts where 





balance < 1000 and balance > 100 (returns 1501) 


一 条 记录 在 第 一 次 是 不 存在 的 (影子) ， 而 在 同一 个 事务 (T1) 的 第 二 次 执行 中 出 现 。 


总 的 来 况 ， 当 一 个 事务 可 以 看 到 另 一 个 事务 的 未 提交 数据 的 时 候 ， 友 生 一 次 脏 读 取 。 当 一 个 事务 对 相同 的 行进 行 2 次 读 取 且 
获得 的 是 不 同 的 数据 时 ， 友 生 一 次 不 可 重复 读 取 。 当 一 个 事务 二 次 相同 查询 的 执行 获得 不 同 的 结果 集 时 ， 友 生 一 次 幻像 读 取 。 


序列 化 
这 是 最 严格 的 隅 离 级 别 。 事 务 锡 似 是 一 个 接 一 个 地 上 太 生 。 在 这 个 层面 上 ， 幻 像 读 是 不 可 能 的 。 


忌 的 来 说 ， 当 我 们 从 未 提交 读 取 转 移 到 序列 化 的 隔离 等 级 ， 锁 定 变 得 更 加 严格 。 每 一 个 层级 的 不 一 致 之 处 都 可 以 概括 如 下 : 


隔离 级 别 脏 读 取 幻像 读 
是 交 的 读 取 是 是 
林 重 复读 取 5 a 
序列 化 5 5 


在 PostgreSQL 中 ， 设 置 任何 四 个 隔离 级 别 都 是 可 能 的 。 内 部 只 有 三 个 级 别 (没有 未 提交 读 取 级 别 并 且 脏 读 也 是 不 可 能 友 生 
AY) 。 幻 像 读 在 实现 了 可 重复 读 的 PostgreSQL 中 是 不 可 能 的 。 我 们 可 以 吉 ，PostgreSQL 实 施 的 隔离 比 SQL 标 准 规定 的 最 低 保护 
机 制 更 为 严格 。 


我 们 将 了 解 PostgreSQL 提 供 的 各 个 级 别 ， 并 查看 处 理事 务 的 一 些 有 用 的 辫 数 和 命令 。 


提交 的 读 取 
这 是 默认 的 隅 离 级 别 。 在 这 个 级 别 中 ， 碍 询 可 以 看 到 语句 开始 执行 之 前 所 提交 的 所 有 数据 更 改 的 快照 。 在 这 里 ， 我 们 使 用 语 


句 这 个 词 ， 而 不 是 事务 。 它 确实 可 以 看 到 其 中 的 变更 市 来 的 影响 。 让 我 们 看 看 这 意味 着 什么 ， 而 且 我 们 也 会 看 到 一 些 有 用 的 泛 
数 。 我 们 将 要 使 用 的 SQL 语 句 ， 如 下 图 所 示 : 


accounts=# SHOW default transaction isolation ; 
default transaction isolation 


read connithad 
(1 row) 


accounts=# SELECT txid current(); 
txid current 


accounts=# SELECT txid current(); 
— current 


accounts=# SELECT txid current(); 
txid current 





我 们 执行 的 每 个 查询 都 会 增加 事务 ID。 这 是 因为 在 PostgreSQL 中 ， 如 果 我 们 没有 明确 地 开始 一 个 事务 ， 每 个 语句 都 会 在 自 
己 的 事务 内 部 黑 认 运行 。 如 果 我 们 计划 执行 一 系列 SELECT 语句 ， 其 中 一 些 语句 需要 基于 之 前 的 结果 ， 我 们 应 该 在 一 个 事务 中 运 
行 它们 。 另 一 点 要 注意 的 是 ，SELECT 也 是 一 个 事务 。 让 我 们 看 看 该 如 何在 一 个 事务 中 运行 各 个 语句 。 


在 PostgreSQL 中 ， 我 们 使 用 BEGIN 和 COMMIT (或 者 ROLLBACK) 构建 事务 ， 并 在 一 个 事务 中 包含 一 套 SQL 语 句 ， 如 下 图 
Pa: 


accounts-€ BEGIN: 

BEGIN 

accountsS=# SELECT txid currenti); 
txid current 


| 50492 | 


(1 row) 


accounts-& SELECT now(); 
now 


2014-69-19 15:24:683.1984695485:30 
(1 row] 


accounts=# SELECT clock timestamp(); 
clock timestamp 


2014-09-19 15:25:04. 637009+05:30 
(1 row) 


accounts=# SELECT txid current(); 
txid current 


[ 50492 | 


(1 row) 
accounts=# SELECT now(): 


2614-69-19 15:24:63. 194696+65: 38 
(1 row) 


accounts=# SELECT clock timestampi); 
clock timestamp 


2814-89-19 15:25:13.4141853485:30 
(1 row) 


accounts-z COMMIT: 

COMMIT 

accounts=# SELECT txid currenti); 
txid current 


| 50493 | 
注意 从 BEGIN 到 COMMIT， 事 务 1D 保 持 不 变 。 这 惑 是 我 们 说 的 在 同一 个 事务 中 。 


另 一 个 值得 注意 的 事情 (虽然 不 相关 的 ) 是 now0 函 数 。 由 now0 返 回 的 结果 在 事务 中 依旧 保持 不 变 。 它 不 返回 实际 时 间 。 
如 果 我 们 想 使 用 当前 时 间 戳 ， 我 们 可 以 使 用 clock timestamp()。 


忆 注 意 那 些 为 获得 日 期 /时 间 值 而 使 用 的 邓 数 。 通 常情 况 下 ， 你 会 希望 这 些 值 能 够 随 着 时 间 的 推移 而 改变 ， 但 其 实 不 然 。 这 
是 因为 它们 在 当前 事务 开始 的 时 候 就 记 下 了 日 期 /时 间 。 虽 然 函 数 的 名 称 可 能 有 点 令 人 混乱 ,但 文件 清楚 地 说 明了 这 一 点 。 


可 重复 的 读 取 


在 这 个 级 别 中 ， 一 个 查询 可 以 看 到 事务 开始 时 便 已 经 存在 的 数据 。 注 意 这 里 的 关键 术语 是 事务 。 所 以 ， 如 果 我 们 在 一 个 事务 
中 多 次 执行 SELECT， 结 果 将 是 一 致 的 。 在 提交 读 取 级 别 内 ，SQL 语 句 (不 是 事务 ) 被 执行 产生 的 快照 是 在 事务 内 部 被 使 用 的 。 
而 对 于 可 重复 的 读 取 ， 快 照 是 在 事务 开始 时 被 使 用 的 。 


让 我 们 看 看 如 何 改变 隅 离 级 别 : 


accounts=> BEGIN; 

BEGIN 

accounts-» SHOW transaction isolation; 
transaction isolation 


read committed 
(1 row) 


accounts=>SET transaction isolation level repeatable read; 
SET 

accounts-» SHOW transaction isolation; 

transaction isolation 


repeatable read 
(1 row) 


accounts=>COMMIT; 

COMMIT 

accounts=> SHOW transaction isolation; 
transaction isolation 


read committed 
(1 row) 


如 果 在 会 话 中 只 有 读 取 操作 ， 我 们 会 得 到 相同 的 数据 集 。 它 将 永远 展示 在 事务 开始 前 已 经 存在 的 数据 。 如 果 进 行 写 入 操作 
试 着 更 改 被 男 一 个 对 话 更 改 的 数据 ， 我 们 将 得 到 一 个 错误 。 让 我 们 看 看 这 是 如 何 工作 的 。 取 两 个 psql 会 话 ， 并 对 这 两 个 会 话 均 设 
置 隔 离 级 别 。 除 了 当前 账户 表 的 记录 ， 删 除 所 有 的 记录 或 者 删除 所 有 数据 后 插入 一 条 记录 : 


accounts=> INSERT INTO account (first name,last name, account bal) 
values ( 'Jane', 'Adam', 1000); 


然后 ， 在 psql， 执 行 : 
SET default transaction isolation = 'repeatable read'; 
再 取 一 个 psql 会 话 (标记 为 T2) 。 下 表 说 明了 两 个 会 话 中 的 SQL 命令 : 


HAA E 
pl BEGIN; 
p2 SELECT * FROM account; 


(23) 
时 间 点 T2 
UPDATE account 
p4 SET account bal = 2000 
WHERE 1d - 2; 


UPDATE account 


p6 SET account bal = 2000 
WHERE 1d - 2; 





我 们 会 得 到 以 下 错误 : 
ERROR: could not serialize access due to concurrent update 


如 果 我 们 执行 了 SELECT 语 句 ， 而 不 是 安 试 更 新 ， 我 们 会 看 到 存在 于 T1 开 始 的 数据 。 这 里 请 确认 已 用 表 中 存在 的 值 更 换 了 
SQL 语 句 中 的 ID。 


序列 化 的 级 别 


这 是 最 严格 的 级 别 。PostgreSQL 文 档 这 样 写 “为 了 保证 真正 序列 化 ，PostgreSQL 使 用 声明 锁 (predicate locking) ， 这 
意味 着 它 可 以 保持 锁定 状态 ， 这 样 当 写 入 操作 将 对 一 个 并 友 事 务 中 的 先前 读 取 产生 影响 时 ， 可 以 使 它 先 运行 。 在 PostgreSQL 
中 ， 这 些 锁定 不 造成 任何 阻碍 ， 因 此 不 会 造成 死 锁 。 " 


忌 之 ，PostgreSQL 不 会 阻止 任何 事务 。 在 序列 化 隔离 级 别 ， 它 将 检测 ;站 突 并 中 止 事 务 以 避免 异 党 情况 。 当 检测 到 回 滚 时 ， 
开 友 人 员 决 定 事务 是 否 应 该 重新 尝试 。 


我 们 将 看 到 在 不 同 的 隅 离 级 别 下 ， 同 样 的 语句 的 不 同 表 现 。 删 除 所 有 数据 但 保留 几 条 记录 之 后 ， 账 尸 表 中 的 数据 如 下 : 


SELECT first name, sum(account bal) 
FROM account GROUP BY first name; 


first name | sum 

m 人 
Jane | 100.00 
John | 200.00 


在 两 个 psql 会 话 中 ， 将 隔离 级 别 设置 为 序列 化 。 然 后 我 们 将 为 这 些 会 话 账 户 表 中 的 两 个 人 插入 数据 : 
SET default transaction isolation = 'serializable'; 


下 表 这 明了 该 账户 表 : 


T 


SELECT first name, 


p2 sum(account bal) FROM account 
GROUP BY first name: 





T2 


INSERT INTO account 


p3 (first name.last name.account bal) 
values ('Jane','Doe', 100); 


SELECT first_name, 
sum(account_bal) FROM 
account GROUP BY 





p4 


first name: 


INSERT INTO account 
p5 (first name.last name, 

account bal) values 

(John' .Doe' .100): 


pe COMMIT; 


SELECT first name, 
p7 sum(account bal) FROM account 


GROUP BY first name: 





ps COMMIT: 


PASSAN NER, UW RaSh: 


ERROR: could not serialize access due to read/write dependencies 
among transactions 

DETAIL: Reason code: Canceled on identification as a pivot, 
during commit attempt. 

HINT: The transaction might succeed if retried 


当 两 个 会 话 的 隔离 级 别 被 设置 为 可 重复 读 取 之 后 ， 我 们 在 前 面 的 表 中 进行 顺序 操作 ， 然 后 将 隔离 级 别 调整 为 读 取 提交 ， 查 看 


其 对 事务 中 返回 的 数据 的 影响 。 


参考 http://wiki.postgresql.org/wiki/ssi 和 https://wiki.postgresql.org/wiki/Serializable， 来 获得 有 关 序 列 化 的 快照 隔离 


和 序列 化 隔离 级 别 的 详细 信息 。 





选择 合适 的 隔离 级 别 不 是 一 个 简单 的 过 程 。 我 们 可 以 设置 不 同 的 隔离 级 别 ， 以 满足 同一 系统 中 不 同 的 情况 


皇 列 化 或 可 重复 读 取 事 务 为 整个 事务 使 用 一 个 快照 ， 而 一 个 提交 读 取 事 务 为 每 个 语句 使 用 一 个 新 的 快照 。 


。 例 如 ， 我 们 可 以 


决定 为 大 多 数 涉及 用 尸 交 互 的 用 例 选 择 一 个 默认 的 读 取 提交 的 隔离 级 别 。 然 而 ， 我 们 可 能 需要 并 行 执行 多 个 后 台 作 业 ， 并 确保 不 


上 友 生 有 异 单 情况 ， 这 时 可 以 为 这 些 工作 设置 序列 化 隅 离 级 别 。 事 务 隅 离 有 关 的 PostgreSQL 驻 档 ， 可 参 


#http://www.postgresql.org/docs/current/static/transaction-iso.html, 
隔离 之 后 ， 让 我 们 看 一 下 最 后 一 个 ACID 属 性 。 
D 是 持久 性 


持久 性 指 的 是 事务 被 提交 后 可 以 提供 的 确定 性 程度 ， 即 使 发 生 电 源 故障 、 操 作 系 统 故障 、 硬 件 故障 等 情况 
个 状态 。 在 PostgreSQL 中 ， 实 现 持久 性 的 一 种 方法 是 使 用 预 写 式 日 志 (WAL) ， 我 们 已 经 在 第 3 章 中 讨论 过 


， 叱 将 保持 这 样 一 


4.2 PostgreSQLAIMVCC 


PostgreSQL 使 用 MVCC 为 不 同 的 会 话 提 供 不 同 的 数据 库 视 图 ， 这 种 方式 是 基于 隅 离 级 别 设 置 的 。 借 助 MVCC， 可 以 实现 高 
级 别 的 并 发 性 ， 且 不 需要 牺牲 性 能 。 关 键 规则 是 读 取 者 不 应 阻碍 写 入 者 ， 而 写 入 者 也 不 应 该 阻碍 读 取 者 。MVCC 被 许多 其 他 的 
数据 库 所 使 用 (例如 Oracle 与 Berkeley DB) 。 


PostgreSQL 使 用 事务 ID 这 一 概念 ， 来 实现 MVCC。 我 们 在 前 面 的 章节 中 已 看 到 ， 事 务 1D 是 借助 txid_current(0) 了 数 来 获得 。 
每 一 个 事务 都 会 看 到 当前 事务 局 动 之 前 的 所 有 已 司 动 的 以 及 已 提交 的 事务 的 影响 。 为 了 在 事务 中 得 到 数据 的 一 臻 视图， 这 是 最 基 
本 的 规则 。 


在 下 图 中 ，P0 是 一 个 时 间 点 。T1、T2、T3 到 T13 是 一 个 接 一 个 的 事务 。P1 是 在 事务 T10 开 始 的 时 间 点 。 


ale 


Ax 


回 滚 





T10 的 所 有 语句 将 看 到 T1、T3 以 及 T10 开 始 之 前 的 开始 和 提交 的 所 有 其 他 事务 产生 的 影响 。T10 中 的 语句 无 法 看 到 T7 的 影 
响 ， 由 于 其 是 在 T10 结 束 之 后 被 提交 的 。T10 中 的 部 分 语句 可 以 看 到 T8 的 影响 ， 如 果 隔 离 级 别 是 提交 读 取 。T10 的 另 一 些 语句 将 
看 到 T11 的 影响 ， 如 果 隅 离 级 别 是 提交 读 取 。T10 中 并 没有 语句 能 够 看 到 T13 的 影响 。 


PostgreS9QL 使 用 了 一 些 系 统 列 来 管理 这 一 点 。 人 在 PostgreSQL 中 ， 所 有 表 中 都 有 一 些 系统 列 。 用 于 生成 数据 快照 的 两 个 最 相 
天 的 列 分 别 是 : 


. xmin: 此 列 包 含 了 事务 的 标志 ， 即 创建 行 的 特定 版 本 的 事务 。 请 注意 ， 我 们 在 这 里 说 的 是 行 的 版 本 。 如 在 清空 部 分 所 提 及 


的 ， 当 我 们 更 新 了 一 条 记录 ， 现 有 的 记录 不 会 被 履 盖 ， 而 会 创建 一 个 新 的 版 本 。 


-xmax: 此 列 包 含 了 事务 的 标志 ， 即 删除 特定 的 行 的 事务 。 此 外 ， 该 记录 不 是 真 的 从 数据 库 中 删除 ， 它 只 是 被 标记 为 删除 。 
如 果 该 记录 不 再 有 用 ， 当 事务 ID 小 于 一 行 的 xmax 列 ， 记 录 将 被 清空 ， 空 间 将 被 释放 出 来 ， 接 收 新 的 播 入 内 容 。 


让 我 们 看 一 些 例 子 : 


accounts=> BEGIN; 

BEGIN 

accounts=> CREATE TABLE emp(id integer, first name varchar, 
last name varchar) ; 

CREATE TABLE 

accounts=> INSERT INTO emp(first name, last name) VALUES 
('SCOTT', 'TIGER'); 


INSERT O 1 

accounts-» SELECT xmin,xmax, * FROM emp; 

xmin | xmax | id | first name | last name 
------ +------+----+------------+----------- 
6644 | 0 | | SCOTT | TIGER 

(1 row) 


accounts=> SELECT txid current () ; 


txid current 


(1 row) 


accounts=>COMMIT; 
COMMIT 


Q £PostoreSQL'?, DDLi&4] (deCREATE TABLE) 也 是 事务 的 组 成 部 分 。 我 们 可 以 回 滚 DDL 语 句 。 


我 们 可 以 看 到 ，xmin 列 被 填充 而 xmax 则 未 被 填充 ， 因 为 该 事务 并 未 删除 记录 。xmin 列 的 值 与 当前 事务 1D 是 相同 的 。 我 们 
会 尝试 删除 并 更 新 记录 。 请 在 一 个 会 话 中 尝试 以 下 命令 : 
accounts=> BEGIN; 
BEGIN 


accounts=> SELECT txid current () ; 


txid current 


(1 row) 


accounts=> UPDATE emp SET last name = 'TGR'; 
UPDATE 1 


accounts=> SELECT xmin, xmax, * FROM emp; 
xmin | xmax | id | first name | last name 


我 们 只 看 到 当前 事务 所 创建 的 新 记录 。 
等 一 下 ! 不 要 输入 COM MIT。 再 尝试 另外 一 个 会 话 ， 如 下 所 示 : 


accounts=> SELECT xmin,xmax, * FROM emp; 


xmin | xmax | id | first name | last name 
------ +------+----+------------+----------- 
6644 | 6645 | | SCOTT | TIGER 

(1 row) 


我 们 可 以 看 到 ，last_name 中 记录 的 是 一 个 过 期 的 版 本 TIGER。 


现在 ,我 们 可 以 去 第 一 个 会 话 ， 然 后 输入 以 下 命令 : 


accounts=>COMMIT; 
COMMIT 


在 两 个 会 话 中 ， 我 们 会 得 到 : 


accounts=> SELECT xmin,xmax, * FROM emp; 


xmin | xmax | id | first name | last name 
------ +------+----+------------+----------- 
6645 | 0 | | SCOTT | TGR 

(1 row) 


现在 ， 我 们 看 到 了 记录 的 新 版 本 ， 这 是 由 事务 ID 6645 所 创建 的 。 之 前 被 插入 的 原始 记录 以 及 其 事务 ID 已 成 为 历史 。 


~ 记录 可 能 具有 非 替 xmax 值 ， 并 且 仍 然 是 有 效 的 且 可 见 的 。 这 种 情况 发 生 在 DELETE/UPDATE 被 回 滚 时 。 事 务 的 状态 被 
记录 在 pg_clog 中 。 


让 我 们 来 看 一 个 例子 ， 在 当前 事务 的 生命 周期 内 局 动 一 个 事务 ( 即 前 面 所 提 到 的 事务 ID 10 的 例子 ) : 


accounts=# DELETE FROM emp; 
DELETE 1 

accounts=> BEGIN; 

BEGIN 

accounts=> SELECT txid current ()j; 
txid current 


(1 row) 


accounts=> SELECT xmin, xmax, * FROM emp; 


xmin | xmax | id | first name | last name 


在 另外 一 个 会 话 中 ， 插 入 一 条 记录 : 


accounts=> INSERT INTO emp(first name, last name) VALUES 
(SCOTT , * TIGER"); 


然后 ， 在 第 一 个 会 话 中 执行 以 下 语句 : 


accounts=> SELECT xmin, xmax, * FROM emp; 


xmin | xmax | id | first name | last name 
------ +------+----+------------+----------- 
6650 | 0 | | SCOTT | TIGER 

(1 row) 


accounts=>COMMIT; 
COMMIT 


现在 


年 ， 在 事务 |D 6649 中 的 一 个 SELECT 语句 可 以 看 到 事务 1D 6650 所 带 来 的 影响 。 这 确实 取决 于 事务 的 隔离 级 别 设置 。 试 斌 
将 隔离 级 别 设置 变 


为 可 重复 读 ， 并 检查 行为 是 否 为 相同 的 。 


有 关 PostgreSQL 的 MVCC 的 精彩 讨论 ， 请 参阅 http://momjian.us/main/writings/pgsql/mvcc.pdf。 


43 人 小结 


本 章 介 绍 了 各 种 事务 的 原理 、 事 务 的 ACID 属性 、 隔 离 级 别 ， 以 及 PostgreSQL 的 隔离 级 别 如 何 映射 到 SQL 标准 ， 也 介绍 了 
PostgreSQL 的 MVCC 基 本 知识 。 同 时 ， 我 们 也 引入 了 几 个 系统 水 数 以 及 一 些 列 ， 来 帮助 大 家 更 好 地 理解 相关 的 理论 知识 ， 以 及 
在 现实 应 用 中 研究 系统 的 行为 。 在 接 下 来 的 几 个 章节 中 ， 我 们 将 集中 介绍 工具 ， 一 个 工具 可 以 用 来 为 PostgreSQL 设 计数 据 库 ， 
而 另 一 个 工具 可 与 PostgreSQL 集 群 共 同 工 作 。 


第 5 童 ”使 用 SQL Power Architect 进 行 数据 建 模 


前 面 几 个 章节 介绍 了 PostgreSQL 的 概念 和 体系 结构 ， 以 及 重要 的 ACID 属性 及 它们 的 管理 模式 。 


本 章 将 讨论 SQL Power Architect 的 数据 建 模 方 法 。 数 据 建 模 是 一 个 视 泛 的 话题 ， 其 包括 了 许多 步 又。 数据 建 模 通过 设计 和 
实施 一 个 数据 库 以 满足 相关 要 求 ， 进 而 有 助 于 了 解 业务 需求 。 典 型 地 ， 建 模 的 过 程 包括 生成 概念 性 的 、 逻 辑 的 和 物理 的 以 构 ， 或 
数据 模型 。 对 于 一 个 安全 且 可 扩展 的 系统 的 实施 来 说 ， 理 解 相关 要 求 及 将 它们 转换 到 一 个 良好 的 数据 库 设 计 是 至 关 重 要 的 。 数 据 
模型 捕获 了 大 量 的 信息 ， 其 中 包括 业务 实体 、 它 们 的 属性 、 适 用 于 实体 和 属性 的 规则 (也 被 称 为 约束 ) 、 实 体 之 间 的 关系 ， 等 


等 
sF o 





SQL Power Architect 是 这 样 一 个 工具 ， 它 有 助 于 建立 物理 模型 、 生 成 SQL， 实 际 上 是 SQL 的 一 个 子 集 一 一 数据 定义 语言 


(Data Definition Language, DDL) 、 为 不 同类 型 的 数据 库 构 建 模型 ， 以 及 完成 数据 模型 的 可 视 化 。 


在 介绍 这 些 功 能 之 前 ， 让 我 们 先 快速 介绍 PostgreSQL 以 及 其 他 数据 库 中 所 使 用 的 一 些 工具 。 


5.1 ”数据 库 工 具 及 其 用 途 


当前 存在 很 多 应 用 于 数据 库 的 工具 。 每 一 种 工具 会 重点 关注 一 些 基础 功能 。 与 数据 库 进行 交互 ， 进 而 执行 查询 、 更 改 数 据 
库 、 观 察 数 据 库 发 生 的 变化 或 者 实现 其 他 目的 等 。 我 们 可 以 借助 客户 端 工具 ， 如 psql 和 pgAdmin (pgAdmin Ill) 。 这 些 工具 均 
没有 Web 界 面 ， 它 们 需要 被 安装 在 需要 访问 数据 库 的 计算 机 上 。phpPgAdmin 也 提供 了 类 似 的 功能 ， 但 它 提供 了 一 个 Web 界 
面 。 


然后 ， 也 有 如 TOra (http://torasql.com/) 这 样 的 产品 。 这 里 ， 关 键 的 区 别 是 TOra 可 以 与 多 个 数据 库 相 关 协 作 ， 而 
pgAdmin 仅 专注 于 PostgreSQL。 


有 些 工具 专注 于 数据 库 管 理 活 动 (如 备份 、 从 备份 中 恢复 、 监 控 性 能 、 杀 死 会 话 、 监 视 内 存 的 使 用 情况 和 空间 利用 情况 ) 。 
有 些 工 具 专注 于 执行 查询 或 脚本 、 摘 述 数据 表 (主要 是 开 友 者 行为 ) 。 


然而 ， 当 涉及 版 本 控制 时 ， 这 些 工 具 并 不 能 派 上 用 场 。 这 不 是 它们 试图 解决 的 问题 。 数 据 库 版 本 控制 涉及 了 许多 动作 ， 例 
Qp: 


. 当 有 多 个 开发 人 员 进 行 数 据 库 设 计时 ， 合 并 数据 库 结 构 变 更 。 
- 再 清楚 最 新 版 本 对 数据 库 所 做 的 变更 。 
如果 有 必要 ， 回 滚 变更 内 容 。 


大 多 数 数 据 库 工具 并 不 会 真正 专注 于 版 本 控制 。 我 们 可 以 创建 脚本 ， 并 使 用 一 种 工具 (如 SVN) KRKE. A, Fii 
必须 准备 好 用 于 回 滚 的 脚本 。Liquibase (http://www.liquibase.org/) 是 一 个 专注 于 版 本 控制 的 工具 。 如 果 我 们 频繁 更 改 数据 
库 染 构 ， 我 们 可 以 优先 考虑 这 个 工具 。 


~~ 


当然 ， 还 有 一 些 数据 库 设 计 工具 。 因 此 ， 选 择 一 个 工具 意味 着 回答 诸如 此 类 的 问题 : 
该 工具 主要 被 用 于 实现 哪 项 功能 (开发 、 管 理 、 版 本 控制 或 者 设计 ) ? 


. 你 是 否 需要 一 个 客户 端 工具 ， 供 一 些 用 户 共同 使 用 ， 或 者 正在 寻找 一 种 工具 ， 能 够 供 来 自 于 不 同 地 方 的 用 户 使 用 ， 因 此 更 


喜欢 基于 Web 的 工具 ? 
你 是 想 仅 使 用 一 个 数据 库 (PostgreSQL) ， 抑 或 是 多 个 数据 库 (PostgreSQL. MySQL4eOracle) ? 


当然 ， 我 们 也 不 能 忽视 成 本 和 许可 授权 这 两 个 重要 因素 。 


5.2” 效 据 库 设 计 工具 


让 我 们 来 看 看 为 什么 需要 一 个 数据 库 设 计 工 具 。 


尽管 数据 库 的 表 数 量 绝对 依赖 于 产品 类 型 ,但 对 于 一 个 正式 系统 而 言 ， 其 所 谷 的 表 数 量 小 于 10~20 个 ， 这 是 几乎 不 大 可 能 会 
发 生 。 当 我 们 用 表 来 管理 用 户 、 角 色 和 权限 时 ， 我 们 将 会 产生 4~ 5 张 表 。 之 后 ， 我 们 会 添加 几 张 表 ， 来 审核 用 户 操作 ， 这 样 表 的 
数量 天 会 增加 a 到 两 位 数 。 除 此 之 外 ， 当 然 还 会 有 支持 核心 业务 的 表 。 


可 能 有 这 样 一 个 系统 ， 其 会 处 理 产品 、 客 户 和 库存 。 或 者 ， 可 以 设计 一 个 系统 ， 使 其 来 处 理 航班 、 路 线 、 库 存 和 票 价 。 此 
外 ， 还 可 以 建立 一 个 社交 系统 ， 用 于 交友 、 联 系 、 博 客 上 友 帖 等 。 辟 之 ， 最 终 会 有 相当 数量 的 表 (十 张 到 上 百 张 之 多 ) 。 当 编写 肢 
本 并 用 EXCEL 来 保存 所 有 表 、 列 及 其 属性 时 ， 许 多 开 友 团队 都 会 使 用 数据 建 模 工 具 ， 其 有 助 于 将 所 创建 的 表 进行 可 视 化 展现 。 如 
果 需 要 将 所 创建 的 表 及 其 天 系 以 图 片 或 者 HTML 文 件 形式 进行 输出 或 友 布 ， 并 使 用 这 些 图 片 对 其 进行 诠释 这样 的 工具 也 是 非 冲 
有 帮助 的 。 反 向 工程 或 从 现 有 的 数据 库 中 生成 数据 模型 也 是 大 多 数 数 据 库 设计 工具 所 具备 的 男 一 个 强大 功能 。 


虽然 当前 已 有 很 多 数据 库 设计 工具 ， 但 很 多 只 能 在 一 个 视窗 环境 中 工作 。 也 有 其 他 免费 的 工具 ， 但 基本 只 友 布 了 第 一 版 本 。 
我 们 将 使 用 GPL 下 的 SQL Power Architect， 这 是 一 个 免费 的 且 绝 对 稳定 的 工具 。GPL 社 区 编辑 版 本 几乎 具备 了 所 有 的 关键 功能 
(如 数据 建 模 、 数 据 分 析 、 反 向 和 正 向 工程 ) 。SQL Power Architect 是 基于 Java 开 发 的 ， 因 而 其 可 在 Windows、UNIX、 
Linux 和 Mac OSs 各 大 平台 上 运行 。 我 们 将 介绍 最 基本 的 表 设 计 步 骤 ， 以 及 SQL 生成 与 以 及 各 种 格式 导出 模型 的 操作 步骤 。 我 们 
还 将 介绍 如 何 使 用 该 工具 来 反 向 操作 现 有 数据 库 。 


5.3 生成 SQL 


接 下 来 ， 让 我 们 尝试 为 所 创建 的 两 张 表 生成 SQL。 点 击 Tools， 选 择 Forward Engineer。 然 后 ， 在 Playpen 数 据 库 中 选择 
Create， 并 选择 PostgreSQL 作 为 Database Type。 你 也 会 注意 到 Liquibase 选 项 ， 如 之 前 提 到 的 ， 作 为 数据 库 的 版 本 控制 工 
具 。 一 旦 你 点 击 OK， 你 可 以 看 到 为 PostgreSQL 生 成 的 SQL。 生 成 的 SQL 将 因 我 们 所 选择 的 数据 库 而 有 所 不 同 。 为 PostgreSQL 
生成 的 SQL 以 及 XML Liquibase， 如 下 图 所 示 : 


生成 的 XML， 如 下 图 所 示 : 
现在 ， 让 我 们 连接 到 一 个 数据 库 ， 来 创建 各 个 表 。 


导航 到 Connections|Add Source Connection|New Connection。 填 入 适当 的 值 ， 然 后 点 击 Test Connection。 如 果 一 切 
进展 顺利 ， 你 应 该 看 到 Connection test successful， 如 下 图 所 示 : 


现在 ， 我 们 可 以 再 次 使 用 Forward Engineer 选 项 ， 在 新 增 数据 库 中 创建 表 。 保 存 SQL 的 选项 也 在 这 里 。 


我 们 还 可 以 使 用 Forward Engineer 选 项 ， 在 两 个 数据 库 之 间 进行 数据 结构 的 复制 。 假 设 源 数 据 库 是 MySQL， 而 目标 数据 库 
是 PostgreSQL， 操 作 步 又 如 下 : 


CREATE SEQUENCE customer master cust id seq; 


CREATE TABLE customer master i 

cust id BIGINT NOT NULL DEFAULT 
nextval('customer master cust id seq), 

first name VARCHAR NOT NULL, 

last name VARCHAR NOT NULL, 

dob DATE NOT NULL, 

CONSIRAINI customer master pk PRIMARY KEY 
(cust id) 
); 


ALTER SEQUENCE customer master cust id seq OWNED 
BY customer master.cust id; 


CREATE SEQUENCE customer accounts account id seq, 


CREATE TABLE customer accounts 人 
account id BIGINT NOT NULL DEFAULT 
nextval('customer accounts account id seq’), 
cust id BIGINT NOT NULL, 
branch id INTEGER NOT NULL, 
account type VARCHAR NOT NULL, 
CONSIRAINT customer account pk PRIMARY 
KEY (account id) 
); 











Copy | Save | Close | 


<changeSet author- CHANGEME" id="1"> 
«create lable tableName="customer_master’> 
«column name= cust id" type="BIGINT" 
autolncrement —-"true" 
«constraints nullable ="false"/> 
</column> 
«column name-"first name type="VARCRAR(Q)"> 
«constraints nullable ="false"/> 
</column> 
«column name= last name" type="VARCHAR(Q)"> 
«constraints nullable ="false"/> 
</column> 
«column name= dob type="DATE"> 
«constraints nullable ="false"/> 
</column> 
</create/able> 
<addPrimaryKey tableName="customer master" 
constraintName="customer master pk" 
columnNames="'cust_id"/> 
<createSequence 
sequenceName-"customer master cust id seq'/> 


«createTable tableName="customer accounts" 
«column name- account id" type= BIGINT" 
autolncrement -^ "true" 
«constraints nullable ="false"/> 
</column> 
<colimn name="cust id" tvne="RIGINT'> 


Copy | Save Close ] 


¥ 


Ld Database Connection: New Connection 


General [Kettle 


Connection Name |bank app N 
Database Type | 
5.101| Port [2345 | Database [test — — 


Connect Options Hostname | 
IDBC URL 

Username 

Password 

| ion| Connection test successful 


Database Product Name: PostgreSQL 

Database Product Version: 9.3.0 

Database Driver Name: PostgreSQL Native Driver 

Database Driver Version: PostgreSQL 8.2 JDBC3 with SSL (buil 


Cancel 





1. 为 源 数据 库 添 加 一 个 连接 (MySQL) 。 

2. 为 目标 数据 库 添 加 一 个 连接 (PostgreSQL) 。 

3. 在 数据 库 窗 格 的 源 连接 下 ， 上 点 击 Expand All Children, 
4. 在 对 象 浏览 器 中 拖 放 你 想 迁 移 的 对 象 。 

5. 使 用 Forward Engineer 选 项 ， 选 择 PostgreSQL 连 接 。 
6. 检 查 所 生成 的 脚本 ， 并 选择 Execute。 


7. 我 们 可 以 使 用 Tools 下 的 Copy Table Data， 将 数据 从 一 个 数据 库 移动 到 另 一 个 数据 库 ， 如 下 图 所 示 : 


©@ New Project - SOL Power Architect 


File Edit Connections ETL QLAP Enterprise Bee Profile Window Help 


e» Compare DM.. 


i» PlayPen Database | $a. Universal >Q 
Copy lable Data... 



































54 小结 


这 一 章 介 绍 了 使 用 SQL Power Architect 设 计 表 的 基本 步 又。 我们 也 了 解 了 如 何 进行 修改 和 生成 SQL， 添 加 到 现 有 数据 库 ， 
与 数据 模型 进行 同步 。 此 外 ， 我 们 也 介绍 了 数据 模型 的 输出 选项 ， 还 见识 了 如 何 使 用 Power Architect 分 析 现 有 数据 库 。 


下 一 章 将 介绍 两 个 客户 问 工 具 : pgAdmin3 和 psql， 其 可 用 来 与 PostgreSQL 数 据 库 相 互 协作 。 


前 一 章 介 绍 了 一 个 用 于 设计 数据 库 的 工具 。 现 在 ， 让 我 们 继续 介绍 几 个 工具 ， 它 们 将 与 PostgreSQL 一 起 操作 数据 ， 创 建 、 
删除 和 改变 对 象 ， 查询 服务 器 上 友 生 的 事件 ， 等 等 。 在 本 章 中 ， 我 们 将 介绍 一 个 GUI 工 具 与 一 个 命令 行 工 具 ， 它 们 将 与 
PostgreSQL 一 起 工作 。 我 们 将 看 到 如 何 连 接 数据 库 、 如 何 执 行 SQL 语 句 以 及 如 何 查 看 数据 库 对 象 及 相关 的 元 数据 。 我 们 也 会 引 
入 一 些 高 级 的 用 例 (如 生成 用 于 查询 和 更 改 配置 参数 的 计划 ) 。 


61 GUI 工 具 与 命令 行 工 具 


在 与 PostgreSQL 可 相互 协作 的 工具 中 ，psql 可 能 是 最 受 青睐 的 一 个 客户 端 工具 ， 而 pgAdmin 则 是 流行 的 GUI 工 具 。 我 们 将 
介绍 pgAdmin 的 一 些 基本 特征 ， 同 时 也 会 介绍 一 些 个 性 化 的 功能 点 。 如 果 全 部 使 用 截图 来 介绍 工具 ， 可 能 会 消耗 很 多 页 面 ， 关 


键 是 没有 太 大 价值 。 你 也 可 以 探索 其 他 可 选 的 工具 ， 如 phppgadmin 和 TORA (Oracle 工 具 包 ， 但 支持 许多 数据 库 ) 。 


62 "FE EipgAdmin 


本 URL (http://www.pgadmin.org/download/) 提供 了 获取 该 工具 的 各 种 链接 选择 ， 包 括 下 载 和 从 源 代码 进行 编译 。 由 
于 存在 相当 多 的 依赖 ， 且 使 这 些 依赖 全 部 有 效 运行 有 点 困难 ， 因 此 从 源 代码 编译 可 能 并 不 容易 ， 除 非 你 已 经 通过 从 源 代码 编译 这 
个 方法 ， 安 装 过 较 多 的 基于 Linux 或 基于 UNIX 的 软件 。 对 于 Windows 系 统 ， 可 以 使 用 指向 与 点 击 安装 器 程序 来 完成 该 工具 的 安 
装 。 对 于 基于 Linux 系 统 ， 这 两 个 链接 (http://yum.postgresql.org/ 与 http://wiki.postgresql.org/wiki/Apt) 提供 了 安装 说 
明 。 


忆 当 你 使 用 链接 所 提供 的 命令 ， 来 安装 pgAdmin 时 ， 请 注意 并 确保 你 只 安装 了 pgAdmin 这 个 软件 。 如 果 你 只 是 复制 /粘贴 命 


4, ARRAS SPosteoreSQLURR. 


6.3 psq| 一 一 企 命令 行 模 式 下 工作 


psql 是 一 个 非常 强大 的 命令 行 工 具 ， 而 且 优 于 其 他 数据 库 中 类 似 的 工具 。 例 如 ， 如 果 我 们 不 确认 表 的 名 字 (我 命名 为 
emp、employee 还 是 employees? ) ， 在 Oracle 的 SQL*Plus 中 ， 唯 一 的 选择 就 是 去 查询 一 个 数据 字典 视图 (如 user tables 或 
tab) 并 使 用 LIKE 进 行 过 滤 。 在 psql 中 ， 我 们 只 需要 输入 \dt e 并 刻 击 Tab 键 两 次 ， 即 可 获取 e 开 头 的 表 的 列表 。 简 单 襄 ， 残 是 
psql 支 持 tab 自 动 补 全 功能 个 漂亮 的 可 以 提高 效率 的 功能 。 现 在 psq| 听 起 来 非常 吸引 人 ， 让 我 们 看 看 更 多 功能 。 





6.4 小 结 


这 一 章 曾 述 了 两 个 PostgreSQL 工 具 : 一 个 GUI 工具 和 一 个 合 令 行 工具 。GUI 工 具 可 能 比 另 一 个 更 容易 学 习 ， 但 是 最 好 还 是 
学 习 一 下 命令 行 工具 ， 因 为 它 为 你 提供 了 很 多 的 灵活 性 。 例 如 ， 你 可 以 创建 SQL 文件 ， 从 shell 脚 本 调用 它们 ， 安 排 定时 任务 。 对 
于 这 种 目 动 批量 工作 ，psq| 通 单 比 GUI 工 具 更 强大 。 同 时 ， 为 了 提高 效率 ， 最 好 使 用 命令 行 工具 进行 工作 。 输 入 \d 并 启 击 回 千 键 
比 移动 鼠标 、 点 击 一 个 图 标 并 等 待 数据 显示 要 快 。 在 某 些 情况 下 ， 如 查询 的 执行 计划 ， 可 视 化 显示 可 能 会 比 文本 更 容易 理解 。 选 
择 移 动 点 击 方 式 还 是 命令 行 方 式 完全 是 个 人 偏好 问题 。 你 可 以 目 己 决定 。 


下 一 章 将 介绍 PostgreSQL 优 化 器 ， 并 看 看 如 何 可 以 用 这 个 信息 来 优化 查询 。 


第 7 章 ”SQL 调 优 


上 一 草 已 经 前 述 了 如 何 使 用 客 尸 端 工 具 访 问 PostgreSQL， 现 在 应 该 伦 时 间 来 关注 查询 和 查询 优化 了 。 首 先 ， 在 审视 使 用 优 
化 器 过 程 中 必须 采取 的 决策 之 前 ,我 们 先 看 几 个 事实 。 最 后 ， 将 讨论 一 些 优 化 策略 和 可 以 遵循 的 几 条 经 验 法 则 。 


我 们 需要 清楚 的 是 查询 优化 并 不 忌 是 意味 着 重 写 查 询 。 它 可 能 涉及 更 改 表 定义 、 创 建 厅 3 引 ， 有 了 时 甚至 是 丢 挥 索引 。 也 有 必要 
了 解 在 最 优 的 查询 计划 中 ， 优 化 器 需要 显示 什么 样 的 信息 。 让 我 们 来 谈 一 谈天 于 如 何 使 用 数据 库 的 一 些 事实 以 及 它们 如 何 工作 。 


7.1 了 解数 据 库 的 基本 事实 


让 我 们 先 理解 一 下 数据 库 的 一 些 事 实 。 


7.2 ”查询 执行 组 件 


PostgreSQL 和 查询 执行 涉及 以 下 四 个 天 键 组 件 : 
解析 器 : 执行 SQL 字符 串 的 语法 和 语义 检查 。 


(See: 在 某 些 情况 下 改变 查询 ; 例如 ， 如 果 查 询 是 针对 一 个 视图 ， 重 写 器 将 修改 查询 ， 使 它 面向 的 是 基础 表 而 不 是 视 


“ 计划 器 : 这 个 关键 部 件 产生 执行 计划 。 


. 执行 器 : 该 组 件 执行 计划 器 所 产生 的 计划 。 


7.3 ”上 友 现 执行 计划 


现在 ,我 们 知道 ， 计 划 器 需要 做 相当 多 的 决策 ， 这 些 决策 最 终 决 定 了 执行 时 间 以 及 资源 消费 (CPU、 内 和 存 、 磁 盘 M/O) 。 我 
们 如 何 知 道 计划 器 将 采取 什么 决定 呢 ? 我 们 可 以 用 EXPLAIN 命 令 来 找 出 可 能 的 〈 注 意 这 是 可 能 的 ) 执行 计划 。 使 用 EXPLAIN，， 
我 们 只 需要 在 我 们 要 执行 的 SQL 语 句 前 加 上 EXPLAIN 前 绝 ， 如 下 所 示 : 


EXPLAIN SELECT first name FROM customer master 
WHERE first name = 'Carolee'; 
QUERY PLAN 


Seq Scan on customer master (cost=0.00..271.62 rows=3 width=6) 


Filter: ((first name)::text - 'Carolee'::text) 
(2 rows) 
查询 计划 的 阅读 顺序 是 从 缩 进 最 多 的 行 读 到 缩 进 最 少 的 行 : 从 底 到 顶 的 顺序 。 包 括 cost/rows/width 的 每 行 是 一 个 节点 。 


Inner (child) 节点 流入 outer (parent) 节点 。 在 前 一 个 计划 中 ， 没 有 child 节 点 。 让 我 们 看 每 一 个 字 / 数 字 ， 看 看 它 意 味 着 什 


IS 


第 二 行 中 的 第 一 部 分 提 到 Filter， 表 明 Filter 被 使 用 。 这 里 还 提 到 了 数据 类 型 。 第 一 行 的 第 一 部 分 提 到 Seq Scan on 
customer master。 该 表 将 以 顺序 的 方式 扫 摘 并 得 到 的 相关 记录 。 然 后 ， 这 里 有 成 本 (cost) 。 成 本 是 一 个 节点 的 影响 程度 的 
估计 。 它 考虑 一 组 变量 (如 页 面 读 取 和 操作 符 的 评价 值 ) ， 根 据 总 的 数据 大 小 和 被 取出 的 行 数 进行 计算 。 


每 个 成 本 条 目 都 有 两 个 部 分 : 局 动 成 本 和 忌 成 本 。 除 非 它 真 的 是 一 个 很 重量 级 的 查询 ， 否 则 最 内 层 节 点 的 局 动 成 本 很 可 能 是 
零 或 接近 零 。 启 动 成 本 要 做 的 工作 是 获取 第 一 行 。 对 于 父 节 后， 启动 成 本 将 接近 子 节 扣 的 忌 成 本 ， 这 意味 父 节 后 的 思 成 本 将 是 子 
节点 的 忌 成 本 加 上 父 书 点 目 身 的 成 本 。 


下 一 个 条 目 : rows 是 一 个 节点 返回 记录 数 的 估计 值 。 
第 三 个 条 目 : width 是 每 个 行 的 平均 宽度 (以 字 节 为 单位 ) 。 
使 用 EXPLAIN 提 供 的 估计 。 如 果 我 们 添加 ANALYZE，PostgreSQL 执 行 这 个 查询 ， 然 后 提供 以 下 输出 : 


EXPLAIN ANALYZE SELECT first name FROM customer master where first _ 
name = 'Carolee'; 


QUERY PLAN 


Seq Scan on customer master (cost=0.00..271.62 rows-3 width-6) 
(actual time=87.598..119.012 rows-2 loops-1) 


Filter: ((first name)::text = 'Carolee!'::text) 
Rows Removed by Filter: 14208 
Total runtime: 119.051 ms 


(4 rows) 


现在 有 相当 多 的 额外 信息 : actual time, rows, loops, Rows, Removed by Filter 和 Total runtime。 这 些 项 目 本 身 是 不 
需 加 以 说明 的 。 我 们 应 该 注意 的 是 ， 估 计 和 实际 是 否 存 在 差异 。 例 如 ,估计 的 行 数值 为 3， 实 际 却 是 2。 如 果 估计 和 实际 有 很 大 
的 不 同 ， 我 们 也 可 以 知道 优化 没有 获取 最 新 信息 或 优化 的 估计 因为 一 些 其 他 的 原因 而 偏离 。 


EXPLAIN 其 他 两 个 有 用 的 选项 是 FORMAT 和 BUFFERS。 


如 果 你 连续 两 次 执行 相同 的 查询 ， 你 可 能 会 找到 那个 Total_runtime 明 显 下 降 。 这 是 数据 从 缓冲 区 被 读 取 产 生 的 效果 。 如 果 
我 们 使 用 的 是 组 ;中 选项 ， 束 可 以 看 到 这 点 。 


EXPLAIN 的 输出 可 以 以 不 同 的 格式 提供 : TEXT、XML、JSON 或 YAML。 让 我 们 看 看 部 分 输出 形式 ， 并 理解 这 两 个 选项 : 


EXPLAIN (ANALYZE,buffers,format yaml) SELECT first name FROM 


customer master WHERE first name = 'Carolee'; 


当 我 们 在 数据 库 重新 局 动 后 执行 这 个 查询 ， 我 们 得 到 以 下 输出 (只 有 几 行 显示 ) : 
Shared Hit Blocks: 0 十 


Shared Read Blocks: 94 + 
Total Runtime: 2.061 


第 二 次 执行 时 ， 我 们 得 到 以 下 输出 : 


Shared Hit Blocks: 94 + 
Shared Read Blocks: 0 + 
Total Runtime: 1.462 


差异 是 显而易见 的 : 读 写 下 来 、 命 中 上 升 和 总 运行 时 间 下 降 ， 这 意味 着 在 缓冲 区 内 可 获得 的 数据 是 可 用 的 。 
EXPLAIN 可 用 选项 的 完整 列表 ， 请 参考 http://www.postgresql.org/docs/current/static/sql-explain.html。 


EXPLAIN 也 可 以 用 于 UPDATE、DELETE 和 INSERT 语 句 。 使 用 时 ， 为 了 避免 数据 更 改 ， 可 使 用 如 下 语句 : 


BEGIN; 
EXPLAIN ANALYZE ...; 
ROLLBACK; 


SEH 了 获得 格式 化 的 EXPLAIN 输 出 〈 同 时 有 彩色 编码 的 输出 ) ， 从 而 标记 那些 需要 进一步 调查 的 节点 和 很 多 有 用 的 信 





息 ， 你 可 以 将 EXPLAIN 的 输出 发 布 到 http://explain.depesz.com/。 


7.4 ”优化 措 南 和 捕 皖 


我 们 已 经 非常 简短 和 快速 地 看 过 计划 器 所 采取 的 决策 。 同 时 ， 现 在 知道 如 何 使 用 EXPLAIN 和 ANALYZE 查 明 计 划 器 采取 的 决 
策 。 现 在 ， 让 我 们 看 几 个 用 来 确保 SQL 在 一 个 合理 的 时 间 内 获取 结果 的 经 验 法 则 。 一 些 规则 讨论 创建 和 索引， 而 其 他 规则 关注 避免 
ENE A. 


7.5 小结 


在 这 一 章 中 ， 我 们 讨论 了 数据 库 的 一 些 基 本 事实 、PostgreSQL 查 询 执行 过 程 和 如 何 优化 PostgreSQL 查 询 的 技巧 。 性 能 优化 
策略 (如 修改 参数 和 物化 视图 的 使 用 ) 将 在 下 一 章 中 讨论 。 


Bom ”服务 器 调 优 


在 前 面 的 章节 中 ， 我 们 看 到 了 PostgreSQL 优 化 器 是 如 何 工作 的 ， 同 时 也 看 到 了 对 得 询 进行 更 改 (创建 索引 、 避 免 函 数 使 用 
问题 等 ) 是 如 何 改变 PostgreSQL 得 询 执行 方式 的 。 这 些 细微 的 变化 往往 会 对 性 能 和 啊 应 时 间 产 生 显著 影 响 。 在 这 一 章 中 ， 我 们 
会 看 到 影响 查询 性 能 的 一 些 参数 ， 以 及 如 何 使 用 物化 视图 和 分 区 这 两 个 特殊 的 数据 结构 。 


8.1 ”服务 器 痛 内 仔 设置 


我 们 可 以 看 一 下 组 中 区 相关 的 两 个 参数 ， 第 一 个 参数 是 分 配 机 制 ， 第 二 个 参数 是 优化 器 的 指针 。 对 性 能 而 言 两 者 都 有 显著 的 


8.2 ”管理 与 入 、 连 接 和 维护 操作 


现在 ， 我 们 看 一 些 可 能 影响 性 能 的 其 他 参数 ， 第 2 章 中 提 到 了 checkpoint segments 参 数 。 当 增加 shared buffers 时 ， 可 能 
也 需要 增加 这 个 值 。 在 一 个 繁忙 的 系统 中 ， 由 于 和 存在 大 量 的 数据 更 改 ， 该 值 较 低 会 导致 频繁 的 检查 点 。 我 们 可 以 增加 这 个 值 ， 通 
过 使 用 checkpoint completion target 保 证 在 每 个 检查 点 写 入 相对 较 大 的 数据 时 (产生 更 少 的 检查 点 ) ， 从 而 缓解 这 个 过 程 。 
对 于 任何 一 个 有 频繁 写 入 的 系统 ， 它 的 默认 值 3 通常 显得 太 低 。 


我 们 可 以 使 用 max_connections 参 数 限制 服务 器 允许 的 最 大 连接 数 。 此 参数 本 身 不 对 性 能 产生 影响 。 然 而 ， 我 们 以 前 提 到 
过 有 一 个 work_mem 参 数 。 如 果 最 大 连接 数 保持 高 位 ， 同 时 工作 内 存 也 保持 高 位 ， 则 数据 库 集群 的 内 存 需 求 可 能 会 向 上 区 升 。 
work_mem 的 保守 值 可 以 通过 一 个 公式 得 到 ， 如 下 代码 所 示 : 


work mem = (available ram * 0.25) / max connections 


在 这 里 ,我 们 将 确保 所 有 连接 的 工作 内 存 区 使 用 的 总 内 存 被 限制 在 1/4 RAM 左 右 。 由 于 work_mem 可 以 在 会 话 级 别 设置 ， 
如 果 有 了 明显 的 需要 ， 我 们 总 是 可 以 为 单个 连接 分 配 更 多 的 内 存 ， 如 在 批量 处 理 的 情况 下 ， 这 将 在 一 张大 表 里 对 数据 进行 排序 。 


交易 系统 中 的 按 天 结束 进程 和 数据 仓库 的 提取 、 转 换 和 加 载 (ETL) 进程 可 能 会 受 葵 于 更 高 的 Work_mem 设 置 。 在 数据 仓库 
中 ， 也 有 一 些 刷 新 标准 报表 的 工作 。 这 些 工作 需要 执行 整个 ETL 过 程 。 许 多 报表 需要 针对 很 多 列 进行 数据 排序 ， 这 些 工作 也 需要 
更 高 的 work_mem 设 置 。 我 们 可 以 在 用 户 级 别 ， 针 对 执行 ETL 作 业 和 报表 刷新 作业 的 登录 用 户 设置 此 值 ， 使 用 下 面 的 代码 : 


ALTER USER etluser SET work mem = '50MB'; 
max_connections 的 默认 值 是 100。 如 果 我 们 设置 为 200， 这 时 会 得 到 如 下 错误 : 
FATAL: sorry, too many clients already 
正确 的 方法 是 : 
` 检查 应 用 程序 层 中 的 连接 是 否 正 确 。 
+ 检查 连接 是 否 正 在 重复 使 用 。 
+ 考虑 使 用 连接 池 的 可 能 性 。 


将 maximum_connections 提 升 到 几 百 以 上 的 值 是 以 上 这 些 方 法 都 尝试 过 之 后 才 需 要 考虑 的 。 每 个 连接 会 消耗 一 些 系 统 资 
源 ， 同 时 增加 maximum_connections 会 导致 性 能 上 的 急剧 下 降 。 细 节 的 计 论 参 


考 https://wiki.postgresql.org/wiki/Number Of Database Connections, 


E A E 参数 是 服务 于 PostgreSQL 超 级 用 户 的 连接 档 数 ， 软 认 值 是 3。 如 果 max_connections 是 100 并 





-H.superuset teserved_connections 是 3， 一 旦 并 发 连接 数 为 97 时 ， 仅 仅 超 级 用 户 可 以 连接 。 


maintenance_work_mem 参 数 也 在 第 2 章 中 讨论 过 。 这 个 参数 可 用 于 自动 清空 进程 、 索 引 和 几 个 更 改 表 语句 。 这 个 参数 可 
以 在 会 话 级 别 设置 ， 即 在 postgresql.conf 中 蔡 换 默认 值 。 这 个 参数 和 work_mem 的 关键 区 别 是 把 这 个 值 设 置 得 比 work_mem 更 
高 是 没 问题 的 ， 因 为 在 服务 器 上 不 会 有 大多 的 维护 操作 同时 友 生 。 


KW 果 对 这 些 参 数 如 何 工作 及 选择 值 前 需要 考虑 的 因素 感 兴 趣 ， 请 参考 http://postgresql.1045698.n5.nabble.com/Auto- 


tuning-work-mem-and-maintenance-work-mem-td5773852.html; 


0.3 EUX/TJED HART SA 


现在 ， 让 我 们 看 几 个 影响 查询 计划 和 性 能 的 参数 。 


default statistics target 人 参数 告诉 PostgreSQL 应 该 抽样 多 少数 据 来 填充 存储 元 数据 的 表 。 它 的 默认 值 是 100。PostgreSQL 
会 考虑 (300 乘 以 当前 值 ) 个 页 面 。 也 融 是 这， 在 默认 值 100 的 情况 下 ，PostgreSQL 会 读 取 30000 个 页 面 (或 整 张 表 ， 如 果 表 还 
没有 那么 大 时 ) 来 完成 行 的 随机 抽样 。 从 这 些 样本 中 ，PostgreSQL 会 填充 pg_statistic 类 别 。 收 集 的 数据 类 型 包括 去 重 的 非 空 什 
的 个 数 、 最 常用 的 值 、 值 的 最 高 频数 等 。 这 些 值 将 被 规划 器 用 于 制订 执行 计划 。pg_statistic 中 的 列 明细 可 以 参 
#http://www.postgresql.org/docs/current/static/catalog-pg-statistic.html, 


如 果 某 个 查询 的 EXPLAIN ANALYZE 展 示 出 实际 成 本 和 预 估 成 本 之 间 的 明显 差异 ， 我 们 应 该 考虑 增加 统计 目标 。 它 可 以 针对 
独立 表 在 COLUM NN 级 别 进行 设置 。 以 下 代码 展示 了 如 何 找到 当前 的 默认 值 ， 如 何 针对 一 个 表 更 改 它 ， 如 何 查 看 某 些 表 的 这 个 
值 : 


accounts=# SHOW default statistics target ; 
default statistics target 


100 
(1 row) 
accounts=# SELECT attstattarget,attname FROM pg attribute 
WHERE attrelid = 'customer accounts'::regclass; 
attstattarget | attname 
Eee srg a rer rors temm es 
0 | tableoid 
0 | cmax 
0 | xmax 
0 | cmin 
0 | xmin 
0 | ctid 
-1 | account id 
-1 | cust id 
-1 | account type 
-1 | branch_id 


(10 rows) 


accounts=# ALTER TABLE customer accounts ALTER cust id SET 
STATISTICS 200; 


ALTER TABLE 
accounts=# SELECT attstattarget,attname FROM pg attribute 


WHERE attrelid = 'customer accounts'::regclass; 
attstattarget | attname 
— —— 
0 | tableoid 
0 | cmax 
0 | xmax 
0 | cmin 
0 | xmin 
0 | ctid 
-1 | account id 
200 | cust id 
-1 | account type 
-1 | branch id 


(10 rows) 
accounts=# ALTER TABLE customer accounts ALTER cust id SET 
STATISTICS -1 


ALTER TABLE 
[BI- TZ EL, FAENZA SREZA, BME EZAN. md SESARKEXME, TASB 
表 使 用 了 多 长 时 间 、 查 询 性 能 增加 了 多 少 ， 然 后 决定 是 否 应 该 保留 新 值 。 现 在 使 用 更 高 的 值 ， 规 划 器 可 以 获得 更 多 数据 ， 并 有 更 
多 的 工作 要 人 处理， 从 而 完成 最 佳 计划 。 然 而 ， 对 于 许多 查询 ， 响 应 时 间 的 改进 可 能 更 可 观 。 如 果 我 们 知道 数据 对 于 特定 属性 的 分 
布 是 不 均 久 的， 通过 查询 计划 检查 查询 是 否 在 WHERE 子 句 中 使 用 非 标准 值 是 有 意义 的 。 


可 以 调整 几 个 成 本 相关 的 音量， 从 而 对 规划 器 产生 影响 : 
* seq_page_cost 
- random page cost 


这 两 者 的 设置 是 相互 天 联 的 。 当 按 顺 序 (序列 扫 摘 ) 从 服务 器 获取 页 面 数据 块 时 ，seq_page_cost 用 来 测量 资源 的 成 本 。 在 
第 7 章 中 ， 我 们 看 到 可 以 用 顺序 或 随机 的 方式 提取 页 面 。 在 一 个 顺序 的 访问 计划 中 ， 数 据 将 被 逐 块 读 取 。 如 果 块 编号 为 1 至 100， 
则 1 号 块 将 被 取出 ， 然 后 是 2 号 块 、3 号 块 等 ， 直 到 所 有 数据 被 取出 (使 用 LIMIT 语 句 ) 。 在 这 种 情况 下 ， 当 取出 被 请 求 的 行 数 
时 ， 停 止 读 取 。 在 随机 页 提取 方式 下 ， 数 据 库 可 以 按照 7、28、49 这 样 的 顺序 请 求 数据 块 。 


random_page_cost 的 默认 值 为 4，sedq_page_cost 的 默认 值 为 1， 意 味 着 随机 寻找 的 成 本 是 顺序 访问 成 本 的 4 倍 。 将 默认 的 
4:1 的 比例 改变 到 一 个 较 低 的 2:1 的 比例 ， 可 以 增加 规划 器 使 用 索引 的 机 会 。 


让 我 们 讨论 几 方 面 的 考虑 ， 假 设 情况 是 已 经 为 4:1 的 默认 设置 。 第 一 个 考虑 是 随机 检索 比 顺序 扫描 开销 更 多 。 对 于 旋转 磁盘 
这 是 一 定 的 ， 对 于 固态 硬盘 (SSD) 却 不 一 定 。 如 果 你 使 用 的 是 托管 服务 器 ， 很 有 可 能 它 使 用 的 是 固态 硬盘 。 数 字 海 洋 (Digital 
Ocean) 是 一 个 虚拟 专用 服务 器 (VPS) 的 新 进 公司 ， 在 2011 年 推出 了 它们 的 服务 ， 这 些 服务 全 部 使 用 SSD 人 存储 。 在 过 去 的 几 
年 里 ， 几 乎 所 有 的 大 公司 ， 包 括 亚 马 逊 网 络 服务 (Amazon Web Services) 、Rackspace 和 Linode， 都 已 开始 提供 固态 硬盘 的 
服务 。 因 此 ， 针 对 固态 硬盘 ， 从 4:1 降 低 到 一 个 相对 较 低 的 比例 是 个 不 错 的 主意 。 


接 下 来 的 考虑 是 ， 虽 然 随 机 磁盘 寻 道 开销 较 大 ， 但 是 大 部 分 的 获取 可 能 压根 不 会 导致 磁盘 I/O 瓶 饥 。 拥 有 足够 内 人 存 和 设置 适 


当 缓 存 的 服务 器 将 意味 着 大 多 数 读 取 从 缓存 中 友 生 。 关 于 4:1 的 默认 设置 ， 请 参 
#http://www.postgresql.org/docs/current/static/runtime-config-query.html, 


默认 值 可 以 被 认为 是 随机 访问 比 顺序 访问 慢 40 倍 ， 同 时 期 望 90% 的 随机 读 取 是 被 缓存 的 。 ” 


如 果 我 们 使 用 旋转 磁盘 ， 如 果 大 部 分 的 提取 产生 物理 MO， 可 能 有 必要 向 另 一 个 方向 调整 ， 也 融 


看 一 些 示例 数据 和 设置 的 影响 : 


accounts=# CREATE TABLE myt ( 

id integer primary key , txt varchar(50)); 
CREATE TABLE 
accounts=# INSERT INTO myt SELECT 


generate series(1,100000), ' some text to ensure the table takes 


many blocks'; 

INSERT 0 100000 

accounts=# ANALYZE myt; 

ANALYZE 

accounts=# SHOW random page cost ; 
random page cost 


accounts=# SET random page cost TO 400; 
SET 


accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 


QUERY PLAN 


Index Scan using myt pkey on myt (cost=0.29..1200.62 rows-2 


Index Cond: (id = ANY ('{1,2}'::integer[])) 
(2 rows) 


accounts=# SET random page cost TO 4000; 
SET 


accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 


QUERY PLAN 


Seq Scan on myt (cost=0.00..2281.00 rows=2 width=53) 


Filter: (id = ANY ('{1,2}'::integer[]) ) 
(2 rows) 


EJ imme 
XEL EAE) 


于 4:1 的 值 。 让 我 们 


查询 计划 从 Index Scan 切换 到 93eq Scan， 原 因 是 索引 包括 随机 检索 ; 我 们 仅仅 告诉 了 优化 器 随机 检索 开销 巨大 。 如 果 提 高 


seq page cost 会 发 生 什 么 : 


accounts=# SET seq page cost TO 400; 
SET 


accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 
QUERY PLAN 


Index Scan using myt pkey on myt (cost=0.29..12000.62 rows=2 
width=53) 


Index Cond: (id = ANY ('{1,2}'::integer[]) ) 
(2 rows) 


将 random page _cost 的 值 设 置 得 比 seq_page_cost 低 是 个 糟糕 的 做 去 。 我 们 也 要 记 住 这 里 并 不 是 随机 和 顺序 页 面 开 销 的 绝 
对 值 ， 而 是 它们 之 间 的 比例 才 会 影响 查询 规划 器 。 


CPU 成 本 


上 面 讨论 了 磁盘 和 磁盘 访问 成 本 ， 接 下 来 我 们 看 一 下 CPU 成 本 。 我 们 记得 有 关 扫 摘 的 成 本 (顺序 和 随机 ) 分 别 为 1 和 4。 与 
这 些 值 相 比 ， 默 认 的 CPU 相 关 的 成 本 设置 是 非常 小 的 : 


- cpu. operator cost (0.0025) : 这 个 值 代 表 执 行 一 个 操作 (比如 散 列 或 者 聚合 ) 的 CPU 成 本 。 
cpu_tuple_cost (0.01) : 这 个 值 代表 处 理 每 一 行 的 成 本 。 
- cpu_index_tuple_cost (0.005) : 这 个 值 代表 处 理 每 个 索引 的 成 本 。 


这 些 值 都 低 ， 因 为 我 们 的 假设 是 处 理 记 录 比 提取 记录 的 开销 更 小 。 换 句 话 说 ， 如 果 我 们 把 这 些 值 都 设置 为 1， 很 可 能 会 陷入 
讨厌 的 MO 瓶颈 。 由 于 计算 成 本 中 CPU 成 本 非 党 小 (结果 束 是 默认 设置 低 值 ) ， 受 此 影响 ， 对 CPU 成 本 设置 的 细微 变化 不 大 可 能 
对 查询 计划 或 响应 时 间 产 生 影 响 。 


让 我 们 看 看 这 些 成 本 是 如 何 增加 到 总 成 本 中 的 。 举 个 例子 ， 执 行 一 个 直接 的 顺序 扫 摘 ， 不 包括 任何 勾引 ， 没 有 随机 访问 。 由 
于 没有 索引 元 组 或 操作 答 ， 因 此 也 丈 没 有 相应 的 CPU 成 本 : 


postgres=# EXPLAIN ANALYZE SELECT * FROM myt; 
QUERY PLAN 


Seq Scan on myt (cost=0.00..28850.00 rows-2000000 width=4) 
(actual time=0.000..339.130 rows=2000003 loops=1) 


Total runtime: 626.217 ms 


(2 rows) 


postgres=# SELECT 

relpages * current setting('seq page cost')::decimal + 
reltuples * current setting('cpu tuple cost') ::decimal 
as total cost FROM pg class WHERE relname='myt' ; 

total cost 


计算 出 来 的 成 本 中 的 数字 28850 和 PostgreSQL 中 估计 的 成 本 一 致 。 用 于 计算 总 成 本 的 公 陈 可 以 家 简化 为 如 下 形式 : 


TC = nl*cl+n2*c2+n3*c3+.... 


这 里 ，TC 代 表 总 成 本 ，n1、n2、n3 等 代表 页 面 或 者 元 组 数 ， 同 时 例子 中 c1、c2、<c3 等 代表 各 目的 成 本 音量 或 参数 设置 。 


SS 关于 查询 规划 器 器 设置 有 一 系列 布尔 值 设置 ， 默认 都 是 开启 的 。 完 整 的 列表 可 以 


从 http://www.postgresgl.org/docs/current/static/runtime-config-query.html 获 得 。 


如 文档 中 提 到 的 ， 关 闭 这 些 设置 中 的 一 个 或 多 个 最 好 是 在 临时 的 系统 环境 中 。 修 改 规划 器 的 成 本 常量 ， 如 我 们 所 见 这 是 个 正 


确 的 方法 。 我 们 将 看 一 下 另外 两 个 设置 是 如 何 工 作 的 。enable indexscan 和 enable bitmapscan 是 我 们 尝试 改变 的 两 个 设置 。 
这 两 个 设置 如 它们 的 名 字 一 样 ， 是 开启 或 关闭 索引 和 位 图 扫描 的 。 它 们 的 默认 值 是 开启 : 


accounts=# SHOW enable indexscan ; 


enable indexscan 


accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 


QUERY PLAN 


Index Scan using myt pkey on myt (cost=0.29..12.62 rows=2 


width=53) 
Index Cond: (id = ANY ('{1,2}'::integer[]) ) 


(2 rows) 


accounts=# SET enable indexscan TO false; 


SET 
accounts=# SHOW enable indexscan ; 


enable indexscan 


accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 
QUERY PLAN 


Bitmap Heap Scan on myt (cost=8.60..16.36 rows=2 width=53) 
Recheck Cond: (id = ANY ('{1,2}'::integer[] )) 


-> Bitmap Index Scan on myt pkey (cost=0.00..8.60 rows=2 
width=0) 
Index Cond: (id = ANY ('{1,2}'::integer[]) ) 
(4 rows) 


accounts=# SHOW enable bitmapscan; 
enable bitmapscan 


accounts=# SET enable bitmapscan TO false; 

SET 

accounts=# EXPLAIN SELECT id,txt FROM myt WHERE id IN (1,2); 
QUERY PLAN 


Seq Scan on myt (cost=0.00..2281.00 rows-2 width-53) 
Filter: (id = ANY ('{1,2}'::integer[]) ) 
(2 rows) 


通过 关闭 这 些 设置 ， 我 们 促使 规划 器 选择 了 一 个 更 加 昂 贯 的 查询 计划 ， 结 果 残 是 成 本 持续 上 涨 。 在 大 多 数 情 况 下 ， 不 要 试图 
修改 这 些 设 置 ， 我 们 要 确保 规划 可 以 提供 最 新 的 统计 数据 (通过 执行 ANALYZE) ， 并 且 可 以 获取 足够 多 的 信息 (通过 调整 统计 
目标 ) 。 


里 然 有 更 多 的 设置 ， 而 且 这 些 设置 的 调整 可 以 影响 规划 器 ， 但 是 提 到 的 这 些 设置 已 经 足够 用 ， 因 为 在 大 多 数 情况 下 ， 优 化 器 
已 经 可 以 选择 一 个 相对 优化 的 方案 。 


ME, 我们 将 看 两 个 特殊 对 象 ， 可 以 用 它们 来 提高 响应 时 | 介 。 其 中 一 个 使 用 预先 计算 好 或 准备 好 的 数据 集 以 提 蜗 响应 时 间 ， 
而 另 一 个 牵涉 将 大 表 分 成 许多 小 表 来 改进 性 能 。 


8.4 FMC 


物化 视图 与 视图 是 相似 的 ， 因 为 它们 都 依赖 于 其 他 表 的 数据 ， 虽 然 它 们 之 间 有 一 些 牵 异 。 对 视图 的 SELECT 操 作 通 常 都 会 获 
取 最 新 的 数据 ， 而 对 物化 视图 的 SELECT 操 作 可 能 会 读 取 过 期 的 数据 。 


另 一 个 关键 的 区 别 是 ， 物 化 视图 包含 实际 的 数据 ， 并 占用 存储 空间 (一 定 比例 的 数据 量 ) ， 而 视图 并 不 占据 明显 的 磁盘 空 
EIR 


物化 视图 主要 用 于 从 基 表 中 捕获 数据 的 摘要 或 快照 。 一 定 的 延迟 /过 期 是 可 以 接受 的 。 考 虑 在 营业 日 结束 时 ,一 家 银行 生成 
各 个 分 文 机 构 平均 余额 报表 的 情况 。 通 单 情况 下 ， 访 报表 将 在 当天 业务 结束 后 被 发送 ， 这 意味 着 ， 这 个 平均 值 一 旦 计算 出 来 ， 对 
于 特定 的 一 天 是 不 大 可 能 改变 的 。 此 外 ， 可 能 没有 人 会 要 求 在 业务 结束 前 看 这 份 报表 。 


对 于 一 个 网 站 而 言 ， 在 一 天 的 不 同时 间 显 示 平 均 和 峰值 流量 的 报表 可 能 是 另 一 个 典型 应 用 案例 。 


这 里 有 一 些 物 化 视图 的 其 他 用 例 。 让 我 们 看 一 些 其 他 的 ， 可 以 使 用 PostgreSQL 的 外 部 数据 包装 器 来 访问 来 自 不 同 数 据 源 的 
ZU: 


- 关系 数据 库 (如 Oracle 和 MySQL) 

- NoSQL 数 据 库 (如 MongoDB、Redis 和 CouchDB) 

| 各 种 类 型 的 文件 

对 这 些 数据 源 的 查询 没有 可 预测 的 性 能 。 我 们 可 以 基于 这 样 的 数据 源 创 建 外 部 表 ， 并 人 在 这 些 外 部 表 上 创建 物化 视图 。 


我 们 使 用 物化 视图 存储 预先 计算 的 聚合 有 两 个 优点 。 第 一 个 优点 ， 我 们 避免 了 多 次 进行 相同 的 计算 产生 的 开销 (很 可 能 有 多 
次 对 某 个 报表 的 请 求 ， 对 不 对 ? ) 。 相 对 于 基础 表 ， 提 供 摘要 的 物化 视图 往往 是 比较 小 的 。 因 此 ， 我 们 将 节省 扫 摘 大 表 的 成 本 。 


这 是 第 二 个 优点 。 
当 使 用 物化 视图 来 存储 来 自 外 部 表 的 数据 时 ， 可 以 使 查询 的 性 能 更 可 预测 。 当 多 次 访问 外 部 表 时 ， 也 消除 了 数据 传输 . 
SS 外 部 数据 包装 器 将 在 第 12 章 中 提 到 。 


下 面 介 绍 如何 创 建 和 刷新 一 个 物化 视图 : 


accounts=# CREATE TABLE myt (id integer primary key, amt numeric); 
CREATE TABLE 
accounts=# INSERI INTO myt SELECT generate series(1,10000), 100; 
INSERT © 10000 
accounts=# CREATE MATERIALIZED VIEW mv myt AS 

SELECT avg(amt) FROM myt; 
SELECT 1 
accounts=# ANALYZE myt; 
ANALYZE 
accounts=# ANALYZE mv myt; 
ANALYZE 
accounts=# EXPLAIN SELECT avg(amt) FROM myt; 

QUERY PLAN 


Aggregate (cost=180.00..180.01 row 
-> Seq Scan on myt (cost=0.00. 
(2 rows) 


accounts=# EXPLAIN SELECT * FROM mv myt; 
QUERY PLAN 


Seq Scan on mv myt (cost-0.00.|.1.01|rows-1 width=5) 
(1 row) 





我 们 可 以 看 到 成 本 的 差异 : 


accounts=# INSERT INTO myt VALUES (90000,200); 
INSERT 0 1 


accounts=# explain select avg(amt) from myt; 
QUERY PLAN 


(cost=180.00..180.01 rows=1 width=5) 


Aggregate 
(cost=0.00..155.00 rows=10000 width=5) 


-> Seq Scan on myt 


(2 rows) 


accounts=# SELECT avg (amt) FROM myt; 


avg 


100.0099990000999900 


(1 row) 


accounts=# SELECT * FROM mv myt; 


avg 


100.0000000000000000 


(1 row) 
我 们 可 能 会 友 现 数据 已 过 时 。 因 此 ， 更 新 物化 视图 及 其 内 容 : 


accounts=# REFRESH MATERIALIZED VIEW mV myt ; 


REFRESH MATERIALIZED VIEW 
accounts=# SELECT * FROM mv myt; 


100.0099990000999900 


(1 row) 


accounts=# DROP TABLE myt; 
ERROR: cannot drop table myt because other objects depend on it 


DETAIL: 
HINT: Use DROP 


materialized view mv myt depends on table myt 
CASCADE to drop the dependent objects too. 


它 告 诉 我 们 这 里 有 依赖 的 对 象 。 此 外 ， 我 们 可 以 耕 找 所 有 的 物化 视图 ， 如 下 所 示 : 


PostgreSQL 足 够 智能 ， 
accounts=# SELECT matviewname ,definition FROM pg matviews; 
matviewname | definition 
— wei i i i i i ee 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
mv myt | SELECT avg(myt.amt) AS avg+ 
| FROM myt; 
8.5 分 区 表 


我 们 看 到 ， 物 化 视图 可 以 用 来 捕获 摘要 或 预 聚合 的 数据 ， 而 不 是 扫 拉 大 量 大 表 的 数据 ， 除 此 之 外 ， 我 们 也 可 以 扫 摘 一 个 小 表 


来 获得 我 们 想 要 的 数据 。 
表 分 区 将 一 个 巨大 的 表 分 解 成 名 干 个 小 表 ， 因 此 需要 扫 拉 更 少 的 数据 块 即 可 检索 需要 的 数据 。 当 创建 分 区 时 ， 使 用 约束 来 确 


保 只 有 特定 的 数据 存储 在 一 个 分 区 上 。 
PostgresQL 的 查询 规划 器 可 以 使 用 这 些 约束 从 而 避免 扫 摘 部 分 分 区 。 此 功能 称 为 约束 排除 (检查 表 / 分 区 的 约束 可 以 告诉 
PostgresQlL 规 划 器 ， 某 个 表 / 分 区 不 会 有 指定 的 值 。 因 此 ， 该 规划 器 可 以 避免 扫描 访 表 / 分 区 ) 。 


与 单个 大 表 的 系 引 相 比 ， 分 区 上 的 索引 将 变 得 更 小 ， 这 将 增加 它们 纳入 内 人 存 中 的 机 会 。 我 们 还 可 以 使 用 分 区 来 实现 一 个 分 层 
人 存储。 不 经 单 访问 的 数据 可 以 仓 放 在 慢 磁盘 的 表 空间 的 分 区 中 ， 而 那 泽 经 单 访 问 的 数据 ， 放 到 快速 磁盘 的 表 空间 的 分 区 中 ， 等 

分 区 的 另 一 个 优点 是 便于 维修 。 让 我 们 考虑 一 个 数据 仓库 的 场景 ， 随 看 时 间 的 推移 我 们 有 很 多 年 的 数据 ， 可 以 删除 最 早 一 年 
的 数据 。 没 有 分 区 时 ， 这 涉及 在 一 个 DELETE 语 句 中 完成 巨大 数量 记录 的 删除 操作 (这 个 操作 是 资源 密集 型 的 ) 以 及 由 此 产生 的 
空 日 空间 ， 随 后 是 繁重 的 清空 操作 等 。 如 果 数 据 做 了 合理 的 分 区 ， 一 个 TRUNCATE 语 句 残 可 以 删除 所 有 旧 的 数据 。 


创建 分 区 表 的 步骤 如 下 : 

1. 创 建 主 表 。 这 是 子 表 的 模板 。 此 表 不 会 真正 拥有 任何 数据 。 

2. 创 建 子 表 。 这 是 一 些 存储 数据 的 表 。 任 何 对 主 表 的 SQL 操 作 将 被 转移 到 一 个 或 多 个 可 用 的 子 表 上 。 
3. 创 建 一 个 触 友 器 来 实现 SQL 语句 的 重 定向 。 

现在 ， 让 我 们 举例 况 明 。 


1. 我 们 将 创建 一 个 两 列 的 交易 表 ， 该 表 包 括 ID 和 交易 日 期 : 


CREATE TABLE tran(id integer PRIMARY KEY, trandate date); 
CREATE TABLE 


2. 再 创建 两 个 子 表 来 仓储 2013 年 到 2014 年 的 交易 : 


CREATE TABLE tran Y2013 ( 

CHECK ( trandate >= DATE '2013-01-01' AND 
trandate < DATE '2014-01-01' ) 

) INHERITS (tran) ; 

CREATE TABLE 

CREATE TABLE tran y2014 ( 

CHECK ( trandate »- DATE '2014-01-01' AND 
trandate « DATE '2015-01-01' ) 

) INHERITS (tran); 


BPA RAN, RABI EAA RAT PSA, META RA DIA. 


和 ~ 注意 我 们 在 创 建 子 表 时 使 用 的 INHERITS 关 键 字 。 表 继承 是 PostereSQL 中 一 个 非常 有 用 的 功能 。 具 体 参 





考 http://www.postegresgl.org/docs/cutrent/static/ddl-inherit.html。 


3. 我 们 还 增加 了 检查 约束 。 现 在 将 创建 触 友 消 数 : 


CREATE OR REPLACE FUNCTION trans insert trigger () 
RETURNS TRIGGER AS $$ 
BEGIN 
IF( NEW.trandate >= DATE '2014-01-01' AND 
NEW.trandate < DATE '2015-01-01' ) THEN 
INSERT INTO tran y2014 VALUES (NEW.*) ; 
ELSIF ( NEW.trandate >= DATE '2013-01-01' AND 
NEW.trandate < DATE '2014-01-01' ) THEN 
INSERT INTO tran y2013 VALUES (NEW.*) ; 
ELSE 
RAISE EXCEPTION 'Date out of range. Fix the 
tran insert trigger() function!'; 
END IF; 
RETURN NULL; 
END; 
$$ 
LANGUAGE plpgsql; 


为 了 获取 更 好 的 性 能 ， 可 以 按照 发 生 的 可 能 性 对 触发 条 件 进行 排序 。 有 较 高 概率 返回 TRUE 的 条 件 应 该 放置 在 较 低 概率 正 


确 匹 配 的 条 件 之 前 。 


4. 将 触 友 器 绑 定 到 主 表 上 : 


CREATE TRIGGER insert trans trigger 
BEFORE INSERT ON tran 
FOR EACH ROW EXECUTE PROCEDURE trans insert trigger() ; 


现在 ， 我 们 将 在 父 表 中 插入 几 条 记录 来 测试 触 友 器 : 


INSERT INTO tran VALUES (1,'2014-01-01' ); 
INSERT 0 0 

INSERT INTO tran VALUES (2,'2013-01-01' ); 
INSERT 0 0 

SELECT * FROM tran; 


id | trandate 


2 | 2013-01-01 
1 | 2014-01-01 
(2 rows) 


SELECT * FROM tran y2013; 
id | trandate 


2 | 2013-01-01 
(1 row) 


SELECT * FROM tran y2014; 
id | trandate 


1 | 2014-01-01 
(1 row) 


让 我 们 来 看 看 在 trandate 列 上 应 用 过 滤 时 ， 碍 询 是 如 何 执行 的 : 


EXPLAIN ANALYZE SELECT * FROM tran WHERE trandate= 
'2013-01-01'; 
QUERY PLAN 


Append (cost=0.00..36.75 rows-12 width=8) (actual 
time-0.000..0.000 rows-1 loops-1) 
-> Seq Scan on tran (cost=0.00..0.00 rows-1 width-8) (actual 
time-0.000..0.000 rows=0 loops=1) 
Filter: (trandate = '2013-01-01'::date) 
-> Seq Scan on tran y2013 (cost=0.00..36.75 rows-11 width=8) 
(actual time-0.000..0.000 rows-1 loops-1) 
Filter: (trandate = '2013-01-01'::date) 
Total runtime: 0.000 ms 
(6 rows) 


EXPLAIN ANALYZE SELECT * FROM tran WHERE trandate- 
'2014-01-01'; 
QUERY PLAN 


Append (cost=0.00..36.75 rows=12 width=8) (actual 
time=0.000..0.000 rows=1 loops=1) 


-> Seq Scan on tran (cost=0.00..0.00 rows=1 width=8) (actual 
time=0.000..0.000 rows=0 loops=1) 
Filter: (trandate = '2014-01-01'::date) 


-> Seq Scan on tran y2014 (cost=0.00..36.75 rows-11 width=8) 
(actual time=0.000..0.000 rows=1 loops-1) 


Filter: (trandate - '2014-01-01'::date) 
Total runtime: 0.000 ms 
(6 rows) 


查询 被 转 到 子 表 。 通 常 ， 我 们 在 子 表 的 trandate 列 上 建立 索引 ， 进 一 步 提高 性 能 。 


从 这 一 方法 得 到 的 性 能 提升 ， 只 有 在 查询 对 驱动 分 区 逻辑 的 列 上 应 用 过 滤 的 情况 下 发 生 。 在 其 他 情况 下 ， 我 们 将 扫描 所 有 的 
子 表 ， 如 下 : 


EXPLAIN ANALYZE SELECT * FROM tran WHERE id = 1; 
QUERY PLAN 
Append (cost=0.00..73.50 rows=23 width=8) (actual time=0.274..0.289 
rows=1 loops=1) 
-> Seq Scan on tran (cost=0.00..0.00 rows=1 width=8) (actual 
time=0.007..0.007 rows=0 loops=1) 
Filter: (id = 1) 
-> Seq Scan on tran y2013 (cost=0.00..36.75 rows-11 width=8) 
(actual time=0.017..0.017 rows=0 loops-1) 
Filter: (id = 1) 


Rows Removed by Filter: 1 
-> Seq Scan on tran y2014 (cost=0.00..36.75 rows-11 width=8) 
(actual time-0.015..0.020 rows-1 loops-1) 
Filter: (id - 1) 


值得 注意 的 是 ， 前 面 的 计划 中 对 行 的 估计 和 实际 数目 乙 间 有 一 个 区 别 。 


这 次 不 删除 一 年 的 数据 ， 我 们 仅仅 删除 这 个 表 : 


DROP TABLE tran y2013; 
DROP TABLE 


然而 ， 如 果 有 人 试图 插入 数据 ， 该 数据 本 应 该 去 那个 子 表 ， 这 时 我 们 却 得 到 一 个 错误 : 
INSERT INTO tran values (1,'2013-01-01' ); 
ERROR: relation "tran y2013" does not exist 
LINE 1: INSERT INTO tran y2013 VALUES (NEW.*) 
QUERY: INSERT INTO tran y2013 VALUES (NEW.*) 


CONTEXT:  PL/pgSQL function trans insert trigger() line 5 at SQL 
statement 


Nae RAK MALTER TABLE tran. y2013 NO INHERIT ttan 而 不 是 删除 表 ， 我 们 仍然 会 有 数据 ， 但 分 区 表 从 表 ttan 脱 离 。 


使 用 触 友 器 会 减 慢 数 据 插入 。 另 一 种 方法 是 使 用 PostgreSQL 规 则 系统 (S 
mhttp://www.postgresql.org/docs/current/static/sql-createrule.html) 。 规 则 引起 的 开销 通常 高 于 由 触 友 器 引起 的 开销 。 
然而 ， 规 则 是 每 次 查询 时 候 评 估 ， 而 触 友 器 是 每 行 友 生 。 对 于 具有 更 大 容量 插入 的 表 ， 实 施 使 用 规则 的 分 区 可 能 是 有 效 的 。 


8.6 小 结 


在 这 一 章 中 ， 我 们 看 了 一 些 影响 执行 计划 和 执行 时 间 的 参数 。 我 们 还 提 到 了 两 个 特殊 的 数据 结构 ， 它 们 可 以 用 来 提高 性 能 。 


在 下 一 章 中 ， 你 将 了 解 一 些 PostgreSQL 工 具 。 


第 9 章 PostgreSQL 写 入 与 读 取 数 据 工 具 


在 前 两 个 章节 中 ， 我 们 讨论 了 查询 级 别 上 的 、 服 务 器 级 别 上 的 和 一 些 数据 结构 级 别 上 的 优化 。 在 开 友 或 测试 环境 中 完成 了 初 
步 的 优化 和 检查 ， 下 一 步 是 准备 生 关 环境。 数据库 软件 的 安装 与 参数 配置 与 在 开 友 环境 中 的 操作 类 似 ， 可 能 生产 服务 器 具有 更 高 
的 配置 ; 我们 可 以 为 数据 库 提供 更 多 的 内 和 存 。 


准备 生产 环境 的 男 一 个 重要 步骤 是 建立 数据 库 、 用 尸 和 角色 和 主 数 据 填充 。 这 里 有 各 种 各 样 的 方式 。 我 们 将 讨论 一 些 实用 程 
序 ， 它 们 可 用 于 实施 这 些 活动 。 


~ 备份、 恢复 和 扩展 的 解决 方案 会 在 第 10 章 中 讨论 。 





9.1 考虑 建立 生产 数据 库 


我 们 通常 在 生产 环境 中 创建 用 尸 和 数据 库 ， 然 后 创建 其 他 对 和 象 〈 如 表 和 视图 ) ,并 在 投入 使 用 前 填 入 一 些 数 据 。 被 填充 在 生 
产 环 境 的 清洗 和 验证 过 的 主 数据 的 类 型 取决 于 系统 。 国 家 和 城市 的 主 数据 、 货 币 和 汇率 的 主 数据 、geoip 数 据 、 特 定 领域 的 主 数 
据 (Won, CAVA, WAS) 都 需要 被 填充 进去 ， 它 们 对 应 着 未 来 数据 的 变化 范围 。 


要 移动 的 数据 量 也 会 有 所 不 同 。 运 行 在 PostgreSQL 上 的 新 系统 可 能 将 取代 使 用 Oracle 或 MySQL 的 系统 。 在 这 种 情况 下 ， 现 
有 系统 的 数据 需要 迁移 到 新 的 系统 。 这 些 情况 的 复杂 性 会 比较 高 : 


. 数据 量 : 现存 的 系统 已 经 使 用 了 几 年 ， 大 多 数 数据 都 需要 迁移 。 


“ 数据库 代 码 重 写 : 针对 Oracle 或 MySQL 的 代码 是 不 可 能 在 PostgreSQL 下 工作 的 。 这 时 候 将 涉及 代码 迁移 、 测 试 、 重 写 和 更 


多 的 测试 。 


数据 转换 : 在 将 数据 移动 到 新 系统 之 前 ， 需 要 进行 转换 /处 理 。 因 为 在 大 多 数 情况 下 ， 新 的 数据 结构 通常 和 需要 退役 系统 
的 数据 结构 不 完全 一 致 。 


里 然 数 据 量 的 问题 可 以 通过 使 用 正确 的 选项 与 PostgreSQL 的 内 置 工具 处 理 ， 但 是 代码 重 写 和 数据 转换 将 需要 其 他 工具 。 对 
于 从 Oracle 移 动 数据 到 PostgreSQL， 可 以 使 用 ora2pg (http://ora2pg.darold.net/) ， 它 是 一 个 Perl 实 用 程序 ， 提 供 了 不 同 的 
选项 (如 移动 特定 的 表 或 所 有 表 、 触 友 器 、 程 序 和 软件 包 ， 使 用 WHERE 子 句 的 选择 性 迁移 ， 等 等 ) 。 虽 然 代码 可 以 在 某 种 程度 
上 被 转换 ， 但 是 使 用 另 一 个 工具 一 一 orafce (https://github.com/orafce/orafce) 可 以 模仿 Oracle 软 件 包 的 功能 如 
DBMS OUTPUT。 


其 他 数据 库 也 有 相似 的 工具 。 综 合 的 列表 可 以 





fe https: / /wiki.postgresql.org/wiki/Converting_from_other_Databases_to_PostgreSQL# 4F © 


当 需 要 对 大 量 的 数据 完成 转换 /操作 时 ， 可 以 采用 Pentaho (http://community.pentaho.com/projects/data-integration/) 或 
‘Talend o 


9.2 COPYPS 


现在 ， 让 我 们 看 看 从 PostgreSQL 表 移动 数据 到 文件 或 其 他 地 方 的 最 简单 的 方式 : COPY 命 令 。 首 先 来 看 表 到 文件 选项 : 


postgres=# \c test 

You are now connected to database "test" as user "postgres". 
test=# CREATE TABLE myt (id int, nm varchar(20)); 

CREATE TABLE 

test=# INSERT INTO myt VALUES (1,'First record') ; 


INSERT 0 1 

test=# INSERT INTO myt VALUES(2,'Second record') ; 
INSERT 0 1 

test=# COPY myt TO '/tmp/file.csv'; 

COPY 2 


test=# \! cat /tmp/file.csv 
1 First record 
2 Second record 


这 个 命令 最 简单 的 使 用 是 COPY TABLE TO FILE。 我 们 可 以 使 用 SELECT 命令 ， 而 不 一 定 使 用 表 名 : 


test=# \! rm /tmp/file.csv 

test=# COPY ( select * from myt ) to '/tmp/file.csv'; 
COPY 2 

test=# \! head /tmp/file.csv 

1 First record 

2 Second record 


我 们 将 文件 的 扩展 名 命名 为 .csv， 但 生成 的 文件 不 是 真 的 用 逗号 隅 开 。 它 使 用 文本 默认 格式 ， 使 用 tab 作 为 列 分 隅 符 。 对 
于 .csv 的 输出 ， 必 须 添加 WITH CSV 选 项 : 


test=# COPY ( SELECT * FROM myt ) TO '/tmp/file.csv' WITH CSV; 
COPY 2 

test=# \! head /tmp/file.csv 

1,First record 

2,Second record 


如 果 我 们 想 显 示 列 名 称 ， 则 需要 添加 HEADER 选 项 。 当 我 们 要 将 数据 移动 到 一 个 电子 表格 ， 进 行 检查 和 编辑 ， 然 后 再 移动 到 
表 时 ， 这 种 操作 可 能 是 必要 的 : 


test=# COPY ( select * from myt ) to '/tmp/file.csv' WITH CSV 
HEADER; 

COPY 2 

test=# \! head /tmp/file.csv 

id,nm 

1,First record 

2,Second record 


也 可 以 仅 写 入 具体 的 记录 ， 如 下 : 


test=# COPY ( SELECT * FROM myt WHERE id =1 ) TO '/tmp/file.csv' 
WITH CSV; 

COPY 1 

test=# \! head /tmp/file.csv 

1,First record 


以 类 似 的 方式 ，SELECT 特 定 的 列 也 是 可 能 的 。 我 们 也 可 以 在 SELECT 语句 中 连接 表 。 甚 至 不 一 定 需要 从 表 中 SELECT。 我 们 


也 可 以 选择 我 们 的 分 阳 符 (只 要 它 是 一 个 单字 节 字 符 ) : 


test=# \COPY (SELECT generate series (1,2), 'AA') TO '/tmp/a.csv' 
DELIMITER '?'; 

test=# \! cat /tmp/a.csv 

1?AA 

22AA 


当 我 们 从 表 中 复制 数据 到 一 个 文件 ， 文 件 中 已 经 存在 的 数据 将 被 覆盖 。 当 我 们 从 一 个 文件 复制 数据 到 一 个 表 时 ， 数 据 被 附加 

到 表 中 已 存在 的 数据 上 。 文 件 也 可 以 从 服务 器 读 取 或 写 入 服务 器 。 因 此 ， 文 件 必 须 驻 留 在 服务 器 上 ， 或 者 可 以 从 服务 器 访问 。 如 
果 在 朱 面 上 使 用 psql 连 接 到 远程 PostgreSQL 服 务 器 ， 复 制 命令 的 输出 文件 将 被 创建 在 服务 器 上 。 使 用 psql 时 ， 调 用 这 个 命令 
式 的 微小 变化 束 会 把 它 写 在 本 地 机 器 。 请 注意 以 下 顺序 。 我 们 连接 到 运行 在 远程 机 器 上 的 服务 器 ， 如 下 命令 所 示 : 

postgres=# \c test 

You are now connected to database "test" as user "postgres". 

test=# COPY ( select * from myt ) to '/tmp/file.csv'; 

COPY 2 

test=# M! cat '/tmp/file.csv' 

cat: /tmp/file.csv: No such file or directory 

test=# \COPY ( select * from myt ) to '/tmp/file.csv' 


test=# M! cat '/tmp/file.csv' 
1 First record 
1 First record 


COPY 的 前 置 \ 会 创建 文件 到 本 地 机 器 上 而 不 是 在 服务 器 上 。COPY 和 \NCOPY 之 间 差 异 的 更 多 信息 ， 以 及 COPY 选 项 的 详细 信 
FA, BDshttp://www.postgresaql.org/docs/current/static/sql-copy.html, 


PostgreSQL 9.3 在 COPY 中 添加 了 PROGRAM 选 项 。 所 以 ,我 们 现在 可 以 执行 复制 命令 ， 并 在 输出 成 文件 之 前 使 用 如 awk 或 
sed 这 样 的 程序 来 处 理 / 操 作 数 据 ， 使 用 ZIP 压 缩 数据 等 。 


test=# COPY myt TO PROGRAM  'grep "First" > /tmp/file.csv  '; 
COPY 2 

test=# \! cat /tmp/file.csv 

1 First record 


将 数据 从 文件 移动 到 表 中 也 相当 简单 ， 做 法 如 下 : 


test=# truncate myt; 

TRUNCATE TABLE 

test=# copy myt from  '/tmp/file.csv'; 
COPY 1 

test=# select * from myt; 


1 | First record 
(1 row) 


天 于 COPY 有 几 件 事 要 记 住 。 它 会 停 在 出 现 的 第 一 个 错误 处 ， 在 错误 友 生 之 前 插入 的 行将 是 不 可 见 的 或 不 可 访问 的 。 如 果 我 
们 从 文件 复制 成 和 王 上 万 的 记录 ， 然 后 错误 友 生 人 在 最 近 的 几 条 记录 中 ， 这 可 能 是 一 个 问题 。 该 表 将 占用 磁盘 上 的 空间 ， 并 且 这 些 数 
据 将 无 法 访问 。 因 此 ， 更 好 的 做 法 是 确保 数据 是 干净 和 正确 格式 化 的 (如 果 数 据 量 较 大 ) ， 如 下 所 示 : 


test=# M! cat '/tmp/file.csv'; 

1 First record 

Bad Second record 

test=# TRUNCATE TABle myt; 

TRUNCATE TABLE 

test=# COPY myt FROM '/tmp/file.csv'; 
ERROR: invalid input syntax for integer: 


CONTEXT: COPY myt, line 2, column id: "bad 


test=# SELECT * FROM myt; 
id | nm 
一 一 一 一 十 一 一 一 一 


(0 rows) 


如 果 我 们 想 继续 加 载 过 程 而 忽略 错误 ,我 们 可 以 使 用 pg_bulkload 工 具 。 


9.3 使 用 pg bulkload 快 速 加 载 


Second record" 
Second record" 


与 COPY 工 具 相 比 pg bulkload 工 具 提 供 了 更 多 的 灵活 性 。pg bulkload 最 大 的 优势 是 速度 。 这 个 实用 程序 可 以 让 我 们 跳 过 
共享 缓冲 区 和 WAL 记 录 。 这 也 意味 着 如 果 出 现 错误 ， 它 是 一 个 单独 的 恢复 过 程 。PostgreSQL 推 动 了 这 个 工具 ，PostgreSQL 自 


带 pg_bulkload 安 装 的 脚本 。 
开始 安装 实用 程序 。 要 做 到 这 一 点 ， 需 遵循 以 下 步骤 : 
1. 使 用 以 下 命令 下 载 源 : 


wget \ 


http: //pgfoundry.org/frs/download.php/3653/pg bulkload-\ 


和 
2. 提 取 如 下 的 内 容 : 


tar xvf ./pg bulkload-3.1.6.tar.gz 


3. 使 用 如 下 命令 更 改 目录 : 


ca pq bpülklioad-3.1.6 


4. 编 译 并 安装 二 进 制 文件 : 


make USE PGXS=1 


make USE PGXS=1 install 


6. 安 浴 扩 展 。 登 录 到 | 数据库 中 ， 我 们 将 在 psql 提 示 行 使 用 它 : 


CREATE EXTENSION pg bulkload; 
CREATE EXTENSION 


我 们 会 看 到 当 加 载 前 一 个 例子 中 的 文件 时 会 友 生 什 么 。 


我 们 将 创建 一 个 控制 文件 ， 它 包括 源 和 目标 的 细 书 和 一 些 其 他 选项 。 控 制 文 件 的 内 容 显 示 使 用 more 命 令 : 


more /tmp/file.ctl 


TYPE = CSV 
INPUT = /tmp/file.csv 
DELIMITER = " " 


TABLE - myt 
LOGFILE - /tmp/blk.log 
PARSE BADFILE - /tmp/parse.csv 


这 里 有 一 个 使 用 tab 分 隔 的 文件 ， 这 个 文件 的 分 隔 符 使 用 DELIMITER 选 项 显示 声明 。PARSE_BADFILE 用 来 写 入 所 有 加 载 失 
败 的 记录 。 其 他 参数 是 自 解 释 的 。 当 我 们 唤醒 以 下 的 工具 ,数据库 名 字 被 略 过 。 这 个 工具 对 服务 器 、 数 据 库 用 尸 、 端 口 等 使 用 默 
认 设 置 。 现 在 ， 我 们 将 从 shell 提 示 行 唤醒 这 个 工具 : 


pg bulkload /tmp/file.ctl -d test 
一 旦 这 个 扩展 程序 执行 ， 我 们 可 以 看 到 ， 坏 数据 的 记录 已 被 写 入 /tmp/parse.csv: 


more /tmp/parse.csv 


bad Second record 


日 志文 件 具 有 与 执行 有 天 的 所 有 信息 (包括 执行 时 间 、 跳 过 的 行 数 、 成 功 加 载 的 行 数 等 ) 。 没 有 任何 数据 问题 的 记录 被 插 


相关 的 其 他 选项 与 文档 参考 http://pgbulkload.projects.pgfoundry.org/pg bulkload.html, 


在 shell 命 令 行 执行 pPg_bulkload-help 会 列 出 所 有 可 用 的 选项 。 


ine 具 和 Oracle's SQL*Loadet 相 似 。 


当 需 要 把 几 个 表 移 动 到 另 一 个 系统 中 ， 或 想 把 主 数据 从 一 个 .csv 文 件 移动 到 主 表 时 ， 完 全 可 以 使 用 上 面 提 到 的 工具 。 然 而 ， 
当 我 们 想 从 数据 库 移动 所 有 或 相当 多 的 数据 结构 (市 或 不 审 数 据 ) 或 移动 不 市 数据 结构 的 全 部 数据 时 ， 束 需要 使 用 pg_dump 命 


a 
Xo 


94 pg dump 命 令 


pg9_dump 工 具 转 储 数据 库 的 内 容 到 文件 中 。 使 用 时 没有 任何 选项 ， 它 会 使 用 默认 设置 并 转 储 默 认 数 据 库 。 


在 下 面 的 例子 中 ， 会 使 用 -C 选 项 。 这 个 选项 将 使 用 CREATE DATABASE 命 令 产 生 输 出 ， 这 样 我 们 束 可 以 知道 哪个 数据 库 被 
转 储 。 


# pg dump -C > /tmp/a.sql 
# grep "CREATE DATABASE" /tmp/a.sql | cut -f1-3 -d" " 
CREATE DATABASE postgres 


我 们 将 对 另 一 个 数据 库 做 同样 的 工作 ， 使 用 -d 选 项 来 指定 数据 库 并 检查 和 输出。 我 们 可 以 看 到 ，test 数 据 库 航 转 储 : 


pg dump -C -d test > /tmp/b.sql 


输出 文件 包含 一 个 命令 来 设置 不 同 的 值 (statement timeout 和 lock timeout) ， 因 为 -C 选 项 后 面 跟着 CREATE 
DATABASE 命 令 ， 后 面 跟 着 SQL 来 创建 各 种 数据 库 对 象 ， 然 后 用 COPY 命 令 填 充 表 内 数据 。 该 文件 还 包含 命令 来 重 置 序列 ， 这 样 
当 我 们 使 用 该 文件 来 填充 新 数据 库 时 ， 就 不 必 担 心 这 个 问题 。 例 如 ，SQL 语 句 如 下 : 


SELECT pg catalog.setval('batch process audit process id seq', 9, 
true); 


可 以 将 输出 重 定向 到 同一 个 集群 中 的 另 一 个 数据 库 ， 或 远程 机 器 上 的 集群 中 的 一 个 数据 库 ， 如 下 命令 所 示 : 


test=# CREATE DATABASE testl; 

CREATE DATABASE 

test=# Wc testl 

You are now connected to database "testl" as user "postgres". 
testl-H Md 

No relations found. 

testl=# Mq 

pg dump -d test | psql -d testl 


现在 通过 psql 登 录 到 test 1: 


testl-4 Md 

List of relations 
Schema | Name | Type | Owner 
-------- +---------------------+----------+---------- 
public | batch error | table | postgres 


我 们 转 储 数 据 库 test 并 通过 psql 定 向 输出 到 | 数据库 test1。 我 们 能 够 这 样 做 是 因为 从 pg_dump 的 输出 默认 包 仿 SQL 命令。 其 
他 输出 格式 ， 可 能 对 大 系统 更 有 用 的 ， 稍 后 进行 讨论 。 


天 于 pg dump RAU FJ LA: 
- 它 是 非 阻塞 的 。 用 户 可 以 继续 使 用 该 数据 库 ， 即 使 当 一 个 转 储 正在 进行 。 
: pg_dump 实 用 程序 提供 了 一 个 一 致 的 转 储 。 我 们 还 原 的 数据 库 将 满足 所 有 一 致 性 。 


我 们 会 看 到 一 些 更 有 用 的 选项 。 我 们 可 以 使 用 -C 选 项 来 生成 售 令 来 删除 对 象 。 这 样 ， 可 以 确保 现 有 的 对 象 锌 删除 ， 并 在 目 
标 数 据 库 中 重新 创建 。 


2 
M 
By. 


Sj (03AT) 将 启动 并 行 任务 来 执行 dump。 


拥有 一 个 大 的 数据 库 和 足够 的 处 理 器 的 能 力 来 运行 并 行 的 工作 是 很 有 用 的 。 如 果 我 们 指定 了 任务 数 是 3 个 或 4 个 连接 将 被 打 


开 ， 一 个 是 主 过 程 ， 三 个 是 工作 进程 的 连接 。 要 使 用 -j 选 项 ， 我 们 必须 使 用 -d， 它 代表 目录 格式 。 这 是 多 进程 可 以 并 行 写 入 数据 
的 唯一 万 法 。 转 储 信息 个 写 在 一 个 目录 下 。 例 如 ,使 用 pg_dump-Fd test-j2-f/tmp/dmp, tema, RBWZAM MATE, 
输出 应 该 是 可 目 定 义 的 转 储 (-F 选 项 ) ， 并 指定 了 目录 格式 (F 后 崇 跟 着 d) ， 目 录 是 /tmp/dmp。 请 注意 ， 我 们 没有 提供 -d 来 
指定 数据 库 。 第 一 个 非 选 项 参数 被 认为 是 数据 库 名 称 。 在 默认 情况 下 ， 输 出 格式 为 压缩 后 的 。 


让 我 们 检查 目录 和 创建 的 文件 : 


ls -a /tmp/dmp/* 


/tmp/dmp/2816.dat.gz /tmp/dmp/2818.dat.gz /tmp/dmp/2819.dat.gz 
/tmp/dmp/2820.dat.gz /tmp/dmp/toc.dat 


有 一 个 toc 文 件 〈 目 录 表 ) 和 四 个 编号 的 gzip 压 缩 文件 。 如 果 查 看 文件 的 内 容 ， 我 们 可 以 看 到 每 个 文件 包含 表 中 的 部 分 数 
据 。toc 文 件 包含 相关 的 信息 、 针 对 表 的 COPY 命 令 、 遂 数 的 脚本 ， 等 等 。 读 toc.dat 内 容 最 好 的 万 法 是 使 用 pg_restore， 随 后 将 
讨论 。 正 如 我 们 所 看 到 的 ， 目 定义 格式 (-F) 创建 压缩 后 的 转 储 文件 。 如 果 我 们 不 打算 运行 并 行进 程 ， 可 以 使 用 “-Fc” 选 项 ， 
这 样 即 可 在 时 一 的 文件 中 获取 转 储 。 


9.5 ”过 滤 选 项 


pg_dump 实 用 程序 提供 了 相当 多 的 过 滤 方 案 。 我 们 可 以 使 用 --data-only 生 成 只 包含 数据 的 文件 ， 不 市 CREATE 语 句 ， 使 
用 --schema= 来 生成 一 个 特定 模式 的 转 储 。 如 果 我 们 需要 仪 检索 对 象 的 定义 ， 当 我 们 从 开 友 移动 到 生产 环境 ， 这 是 经 常 友 生 的 
情况 ， 可 以 使 用 --schema-only 选 项 。 为 了 移动 特定 的 表 ， 可 以 使 用 -table= 选 项 。 模 式 过 滤器 和 表 过 滤器 接受 模式 匹配 。 为 了 
仅 生 成 表 的 对 象 定义 ， 他 们 的 名 字 以 myt 开 头 ， 我 们 可 以 执行 下 面 的 命令 : 


pg dump test --table='myt*' --schema-only 
在 类 似 的 方式 中 ， 可 以 使 用 “-exclude-schema” 或 “-exclude-table” 选 项 来 排除 特定 模式 或 表 。 


一 个 版 本 的 pg_dump 可 能 无 法 与 其 他 版 本 的 PostgreSQL 无 颖 工作 。 例 如 ，pg_dump 不 能 从 比 自己 版 本 更 新 的 PostgreSQL 
服务 器 完成 转 储 。 更 多 有 关 pg dump 选 项 及 版 本 兼容 性 的 信息 ， 参 考 http://www.postgresql.org/docs/current/static/app- 
pgdump.html, 


pg_dump 工 具 不 能 转 储 数据 库 用 户 ， 因 为 用 户 不 与 任何 特定 的 数据 库 天 联 。 我 们 可 以 用 pg_dumpall 完 成 这 个 任务 。 


96 小 结 


在 本 章 中 ， 我 们 讨论 了 一 尝 实 用 程序 ， 可 用 于 将 数据 和 数据 结构 从 开 友 环境 移动 到 生产 环境 。 在 下 一 章 中 ， 我 们 将 讨论 与 生 
产 部 署 、 命 名、 缩放 、 故 障 转移 选项 有 天 的 主题 。 


第 10 章 扩展、 复制 、 备 份 和 恢复 


在 前 面 的 章节 中 ， 我 们 阐述 了 如 何 将 数据 从 一 个 PostgreSQL 集 群 移 动 到 另 一 个 集群 ， 或 者 在 同一 个 集群 中 将 数据 从 一 个 数 
据 库 移动 到 另 一 个 数据 库 。 我 们 为 大 家 介绍 了 为 移动 数据 而 创建 文件 的 各 种 选项 。 同 时 ,我 们 也 涵 芋 了 如 何 从 一 个 文件 中 把 数据 
恢复 到 一 个 数据 库 集群 以 及 恢复 数据 时 所 涉及 的 选项 。 


这 一 章 将 为 大 家 阐述 可 扩展 性 和 故障 转移 的 几 个 概念 。 然 后 ， 会 介绍 PostgreSQL 中 的 一 毕 方法 与 工具 ， 它 们 用 于 实现 可 扩 
展 性 ， 并 有 具备 故障 转移 的 能 力 。 


对 于 数据 库 而 言 ， 可 扩展 性 与 从 故障 中 恢复 的 能 力 是 至 天 重要 的 。 它 们 是 两 个 不 同 的 概念 ， 尽 过 相同 的 工具 或 万 法 均 会 涉 
这 两 个 概念 。 接 下 来 ， 我 们 会 先 介绍 可 扩展 性 ， 然 后 再 为 大 家 介绍 从 故障 中 恢复 的 能 力 。 


10.1 可 扩展 性 


在 进入 系统 之 前 ， 我 们 可 以 在 性 能 测试 阶段 确定 性 能 相关 问题 。 当 前 有 许多 工具 和 了 网站， 可 供 性 能 测试 使 用 并 找 出 瓶颈 。 
JMeter (http://jmeter.apache.org/) 是 一 个 免费 的 好 用 的 性 能 测试 工具 。 当 我 们 进行 性 能 测试 时 ， 可 以 使 用 监测 工具 ， 如 
New Relic (http://newrelic.com/) ,来 帮助 我 们 识别 瓶 贷 。 这 些 都 只 是 建议 。 我 们 不 具体 介绍 如 何 进行 性 能 测试 。 


即使 在 性 能 测试 中 ， 响 应 时 间 符 合 期 望 的 情况 下 ， 随 着 时 间 变 化 用 户 数 量 可 能 会 超出 我 们 的 期 望 。 从 商业 的 角度 来 看 ， 这 上 月 
定 是 一 件 好 事 。 不 过 ， 这 可 能 会 导致 应 用 程序 啊 应 时 间 的 激增 。 通 过 全 程 跟 蹊 浏 览 器 的 请 求 及 啊 应 一 直到 后 端 效 据 库 ， 我 们 可 能 
会 得 出 ， 数 据 库 融 是 整个 过 程 的 瓶 须 。 这 和 意味 着 我 们 已 经 在 数据 库 层 遇 到 了 可 扩展 性 问题 。 在 这 里 ， 平 均 负 倚 随 时 间 缓 慢 上 升 ， 
这 导致 了 响应 时 间 的 增加 。 


另 一 种 可 能 遇 到 的 场景 是 请 求 数量 会 按 一 定 幅度 上 升 ， 远 高 于 我 们 的 预期 ， 尽 管 仅 是 短期 行为 。 例 如 ， 曾 有 一 个 优惠 活 
动 ，“ 前 100 人 人 花 1 美 元 即 可 获得 LAX- 上 后 K 机 票 ”。 当 客户 知道 这 个 优惠 信息 之 后 ， 他 们 便 立 即 访问 网 上 站， 导致 了 对 应 用 程序 服 
务 器 和 数据 库 服务 器 的 请 求 激增 。 在 这 种 情况 下 ， 蜂 值 负载 超过 我 们 的 预 估 ， 而 系统 未 能 及 时 响应 。 


在 许多 类 似 情况 下 ， 最 终 被 追溯 为 可 扩展 性 问题 : 

- 查询 写 得 不 好 ( 漏 了 一 个 WHERE 语句 ? ) 

保留 了 默认 数据 库 参 数 

- 未 创建 足够 的 /正确 的 索引 

“ 未 充分 利用 现 有 的 对 象 类 型 (物化 视图 和 分 区 ) 

| 未 使 用 正确 的 数据 类 型 (使 用 了 VARCHAR 来 存储 日 期 ? ) 
:代码 问题 导致 事务 锁 死 

: 在 设计 表 时 ， 未 使 用 适当 的 规范 化 技术 


当 我 们 逐一 排查 上 述 所 列 项 目 ， 修 复 问题 可 能 需要 越 来 越 多 的 工作 。 重 写 查 询 通 单 很 易 完 成 ， 但 是 重新 设计 表 一 定 会 在 许多 


地 方 需要 更 改 应 用 程序 代码 。 


一 旦 意识 到 数据 库 层 存 在 可 扩展 性 问题 ， 下 一 个 问题 就 是 “我 们 该 怎么 进行 扩展 ? ”一 旦 尝试 了 之 前 所 列 的 所 有 项 目 ， 会 得 
出 一 个 结论 ， 即 我 们 的 硬件 无 法 处 理 这 些 负 载 。 我 们 必须 探索 提高 处 理 能 力 或 可 用 的 内 存 来 改进 系统 。 在 存储 级 别 ， 可 能 也 会 有 
这 些 问题 (例如 ， 使 用 不 恰当 的 RAID 级 别 ) 。 然 而 ， 这 些 不 会 在 此 介绍 。 一 些 关 于 RAID 级 别 的 探讨 ， 可 以 查询 以 下 链接 : 


: https://wiki.postgresql.org/wiki/Community_Disk_Tuning_Guide#Hardware_telated 
- http://serverfault.com/questions/235049 / choosing-the-right-raid-level-for-postgresql-database 


- http:/ /setverfault.com/questions/453767 /postgresql-raid-configuration 


在 硬件 层面 ， 有 两 种 方法 来 进行 扩展 ， 同 时 也 会 产生 两 种 不 同 的 结 


10.2 基于 时 间 点 的 恢复 


前 面 介绍 了 可 扩展 性 以 及 一 种 水 平 扩展 和 故障 转移 的 方式 。 我 们 可 以 将 故障 转移 到 一 个 节点 ， 其 中 包含 所 有 的 事务 ， 这 些 事 
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有 时 候 ， 想 回 到 之 前 的 状态 : 在 一 个 特定 的 时 间 点 检索 数据 库 集群 ， 然 后 重新 开始 。 例 如 ， 昨 天 晚上 ， 我 们 在 生产 环境 中 友 
布 了 一 个 版 本 。 测 试 告诉 我 们 : 一 切 表现 均 为 正 弟 ， 然 后 我 们 便 将 系统 开放 给 了 用 户 。 而 在 今天 上 午 的 某 个 时 候 ， 客 户 文 持 部 门 
告诉 我 们 ， 系 统 出 现 了 一 些 问 题 。 版 本 友 布 乙 后 输入 的 订单 出 现 了 问题 。 一 旦 确认 系统 仓 企 一 个 致 售 bug 时 ， 我 们 要 做 的 第 一 件 
EMERSAR. 


在 应 用 程序 方面 ， 这 样 的 操作 是 相对 容易 的 。 从 版 本 控制 系统 中 获得 以 前 的 版 本 ， 然 后 重新 部 署 之 前 版 本 。 那 数据 库 怎 么 办 
Me? 如 果 是 一 个 小 集群 (只 是 几 个 GB， 在 每 个 版 本 友 布 之 前 ， 我 们 会 做 全 面 的 备份 。 一 旦 出 现 问 题 ， 便 可 以 从 备份 中 恢复 数 
据 。 但 当 遇 到 大 数据 库 ， 这 并 不 是 一 个 可 行 的 解决 万 案 。 我 们 不 能 频繁 地 对 几 百 GB 的 数据 库 进 行 全 面 备份 。 这 时 候 不 得 不 求助 
于 前 一 段 时 间 的 一 个 备份 ， 然 后 将 数据 恢复 到 某 个 时 间 点 (FRIAS) 。 恢 复 时 间 将 取决 于 我 们 所 需要 恢复 的 内 容 。 


一 旦 结束 基于 时 间 点 的 恢复 ,我 们 可 以 单独 为 管理 员 与 客户 支持 团队 ， 开 通 数 据 库 的 访问 权限 。 这 可 以 在 另 一 个 服务 器 / 册 


口 被 打开 。 然 后 ， 检 查 版 本 友 布 之 后 的 所 有 的 事务 ， 在 恢复 过 的 群集 中 编译 这 些 条 目 ， 并 为 业务 线 开放 这 个 系统 。 当 然 ， 实 际 操 
作 起 来 难度 会 大 一 后 。 
通过 使 用 以 下 三 个 选项 ，PostgreSQL 人 允许 你 将 数据 库 还 原 到 特定 的 时 间 点 : 


- fecovety target name: 该 选项 被 用 于 恢复 命名 的 还 原点 。pg_create_restore_point 可 以 用 来 创建 命名 的 还 原点 。 创 建 还 原点 
的 场合 通常 在 主要 生产 版 本 发 布 /应 用 程序 升级 之 前 。 恢 复 一 个 目标 名 称 可 能 是 可 用 的 三 个 选项 中 最 简单 的 一 个 。 


- recovety target time: 这 个 选项 可 以 用 在 这 种 场合 : 当 我 们 知道 犯 了 一 个 错误 ， 并 在 一 段 时 间 后 才 意 识 到 ， 同 时 我 们 记得 
早上 删除 表 或 删除 记录 的 大 致 时 间 。 虽 然 指 定 了 一 个 时 间 戳 值 ， 但 是 恢复 将 仅 在 那个 时 间 点 运行 的 事务 执行 后 才 停 止 。 所 以 ， 如 
果 有 长 时 间 运 行 的 事务 ， 我 们 会 提供 一 个 比 犯 错误 的 确切 时 间 更 早 的 值 。 这 时 可 以 用 pause_at_recovery_target 选 项 。 我 们 将 在 尽 可 
能 早 的 时 间 开 始 恢复 ， 查 看 服务 器 中 的 数据 。 一 旦 确认 已 经 达到 正确 的 点 ， 我 们 用 pg_xlog teplay_tesume 来 停止 恢复 并 打开 数据 
库 供 正常 使 用 。 


- recovety target xid: 如 果 知 道 菜 个 transactionid 之 后 数据 库 才 损坏 ， 此 选项 便 可 使 用 ; 我 们 可 以 使 用 这 个 选项 来 恢复 到 该 事 


务 恢 复 完 成 的 ma 


为 了 演示 ， 这 里 将 使 用 目标 名 称 选 项 与 pause at recovery target 选 项 。 让 我 们 使 用 和 之 前 一 样 的 设置 。 转 
到 /pgdata/standby 目 录 并 执行 [mrf* 来 清理 目录 。 这 次 ,我 们 不 使 用 rsync。 我 们 使 用 pg_basebackup， 它 创建 了 一 个 数据 库 
集群 的 二 进 制 副本 。 该 集群 将 被 自动 推进 并 拉 出 备份 模式 : 


pg basebackup -D /pgdata/standby --format=plain ^ 
--write-recovery-conf --xlog-method-fetch  --verbose -h 127.0.0.1 


-D 选 项 用 于 指定 目标 目录 。 这 里 使 用 的 是 纯 文 本 格式 。 使 用 tar 格 式 也 是 可 以 的 。 用 recovery.conf 选 项 生成 一 个 示例 恢复 文 
件 。 稍 后 将 编辑 它 。 命 令 的 输出 如 下 : 
transaction log start point: 4/8D000028 on timeline 1 


transaction log end point: 4/8E000050 
pg basebackup: base backup complete 


正如 我 们 上 次 执行 备份 时 及 生 的 ， 在 群集 目录 中 有 一 个 备份 文件 : 


more 00000001000000040000008D.00000028.backup 


START WAL LOCATION: 4/8D000028 (file 00000001000000040000008D) 
STOP WAL LOCATION: 4/8E000050 (file 00000001000000040000008E) 
CHECKPOINT LOCATION: 4/8D000060 

BACKUP METHOD: streamed 

BACKUP FROM: master 

START TIME: 2014-07-02 11:47:33 IST 

LABEL: pg basebackup base backup 

STOP TIME: 2014-07-02 11:49:33 IST 


由 于 我 们 的 计划 是 启动 备用 服务 器 ， 甚 至 是 当主 节点 运行 时 ， 将 它 的 尊 口 改 为 5432。 还 有 ， 我 们 想 从 新 的 集群 中 读 取 。 
此 ， 激 活 hot standby, 归档 应 该 进入 /pgdata/standby archive。 这 个 也 需要 编辑 。 


因此 ， 对 次 节点 的 postgresql.conf 文 件 的 更 改 如 下 : 


port = 5432 
hot standby = on 


archive command = 'rsync -av %p /pgdata/standby archive/%f ' 


使 用 下 面 的 命令 创建 目录 : 


mkdir /pgdata/standby archive 


现在 ， 让 我 们 编辑 recovery.conf。 将 添加 下 面 的 两 行 : 


pause at recovery target = true 


recovery target name = patch of 2014 07 02 


在 主 服务 器 上 ， 我 们 将 创建 表 、 皇 入 一 些 数据 、 创 建 一 个 还 原点 ， 并 插入 更 多 的 数据 。 随 后 将 还 原 到 最 后 一 批 鹤 插入 前 的 


psql -d pgp 

pgp=# CREATE TABLE myt (id integer) ; 

CREATE TABLE 

pgp=# INSERT INTO myt SELECT generate series(1,100) ; 

INSERT 0 100 

pgp=# SELECT pg create restore point('patch of 2014 07 02'); 
pg create restore point 


4/93000090 


(1 row) 

pgp=# INSERT INTO myt SELECT generate series(1000,1100); 
INSERT O 101 

pgp-4 SELECT count(*), min(id), max(id) FROM myt; 


count | min | max 
TENER ee IEA 

201 | 1 | 1100 
(1 row) 


现在 让 我 们 局 动 从 服务 器 数据 库 : 


pg ctl start 


如 果 检 查 日 志文 件 ， 这 些 都 是 重要 的 部 分 : 


entering standby mode.. 


recovery stopping at restore point "patch of 2014 07 02", time 
2014-07-02 12:08:57.507946+05:30 


recovery has paused 


Execute pg xlog replay resume() to continue 


在 次 节点 连接 到 psq|l: 
postgres=# \c pgp 
You are now connected to database "pgp" as user "postgres". 
pgp=# SELECT min(id), max(id), count(*) FROM myt; 
min | max | count 


pgp=# CREATE TABLE a(id integer) ; 
ERROR: cannot execute CREATE TABLE in a read-only transaction 


The database is still in read-only mode. 
pgp=# SELECT pg xlog replay resume (); 
pg xlog replay resume 


(1 row) 

pgp=# CREATE TABLE a(id integer) ; 

CREATE TABLE 

pgp=# SELECT min(id), max(id), count(*) FROM myt; 


min | max | count 
"A — — 

1 | 100 | 100 
(1 row) 


这 样 束 做 好 了 。 新 集群 是 在 读 / 写 模 式 下 打开 的 ， 想 跳 过 的 事务 已 被 跳 过 ，。 

接 下 来 看 一 下 处 理 复 制 /故障 恢复 的 一 些 有 用 的 函数 。 

这 个 为 备用 节点 返回 True， 并 为 主 节操 返回 False: 
SELECT pg last xlog receive location() ; 

这 个 为数 检索 最 后 一 个 事务 的 位 置 ， 这 个 位 置 是 被 从 服务 器 流 处 理 的 。 在 主 服务 器 上 执行 这 个 函数 检索 不 到 数据 : 
SELECT pg last xlog replay location(); 

这 个 遂 数 检索 恢复 期 间 回放 的 最 后 一 个 事务 : 
select pg last xact replay timestamp(); 

当 事 务 在 从 服务 器 上 和 被 回放 过 ， 这 个 函数 检索 最 新 的 时 间 戳 。 

查看 恢复 设置 和 系统 管理 函数 的 详细 信息 ， 可 以 参考 下 面 链 接 : 

: http://www.postegresql.org/docs/current/static/recovery-target-settings. html 


: http://www.posteresql.org/docs/current/static/functions-admin. html 


10.3 小结 


这 一 章 介 绍 了 几 个 重要 的 概念 : 3 fe. BU, Bhs. WRG RMS. MSBRTAS Tai 
方案 (使 用 主 从 设置 的 水 平 扩展 和 读 写 分 离 ) 并 讨论 了 pgpool-ll 用 到 的 最 基本 的 设置 。 同 时 也 简要 谈 到 了 备份 和 恢复 方案 ， 并 
讨论 了 在 生产 环境 发 布 之 前 ， 必 不 可 少 的 一 步 : 基准 数据 库 状态 。 我 们 看 到 了 如 何 恢复 这 个 基线 。 


在 下 一 章 中 ， 我 们 将 介绍 PostgresQL 的 故障 排除 ， 如 连接 问题 、 查 询 不 啊 应 和 类 似 的 问题 。 


第 11 章 PostgreSQL 故障 排除 


前 一 章 讨 论 了 一 些 可 扩展 性 、 备 份 和 恢复 的 概念 。 我 们 也 看 到 pgpool-1I 可 以 使 用 PostgreSQL 的 流 复 制 实 现 横向 扩展 与 读 写 
分 离 。 我 们 也 看 过 了 基于 PostgreSQL 内 置 工具 的 时 间 点 恢复 。 


从 安 涂 到 设计 数据 库 、 优 化 和 扩展 ， 我 们 讨论 了 很 多 。 不 雷 的 是 ， 当 我 们 尝试 一 些 新 的 东西 时 ， 会 遇 到 一 些小 问题 。 这 一 章 
将 讨论 使 用 PostgreSQL 时 可 能 遇 到 的 常见 问题 ， 以 及 如 何 解 决 它 们 。 错 误 / 问 题 的 范围 从 连接 问题 到 没有 响应 的 查询 。 首 先 从 连 
接 问 题 开 始 。 


11.1 连接 问题 


假设 我 们 安装 了 PostgreSQL 并 试图 通过 psql 从 远程 主机 连接 它 。 


然而 ， 得 到 以 下 铬 误 : 





我 们 需要 做 的 第 一 件 事 就 是 登录 到 服务 器 ， 服 务 器 上 PostgreSQL 应 该 正在 运行 ， 所 以 要 检查 那里 是 否 有 服务 器 进程 。 可 以 


使 用 ps 命令 来 弄 清 楚 : 


ps aux | grep postgres 


如 果 看 不 到 进程 : writer 进 程 、wal 进 程 等 ， 我 们 束 知 道 服务 器 还 没有 局 动 。 这 时 可 以 启动 服务 器 ， 然 后 再 试 一 次 。 如 果 得 
到 同样 的 错误 ， 下 一 步 是 证 明 它 确实 在 监听 试图 连接 的 端口 。 要 做 到 这 一 点 ， 可 使 用 以 下 命令 : 


ss -anp | grep postgres 


这 时 候 应 该 看 到 5432 端 口 的 条 目 。 另 外 也 可 以 登录 到 数据 库 服 务 器 ， 连 接 到 psql 并 尝试 以 下 命令 : 


postgres=# SHOW port; 
port 


5432 
postgres=# SHOW listen addresses; 
listen addresses 


localhost 


在 postgresql.conf 中 修正 listen_addresses 和 端口 ， 并 重新 启动 服务 器 (或 使 用 psql 中 的 正确 选项 ) 可 以 市 我 们 更 近 一 步 。 
postgresql.conf 中 的 listen addresses 告 诉 PostgreSQL 应 该 在 哪个 端口 侦 听 请 求 ， 而 pg_hba.conf 中 的 地 址 条 目 告 诉 
PostgreSQL， 哪 些 应 该 让 用 户 通过 。 另 一 方面 ， 如 果 得 到 以 下 错误 ， 你 需要 采取 这 样 几 个 步骤 : 


psql: could not connect to server:| No route to iEn 


Is the server running on host "192.168.56.101" and accepting 
TCP/IP connections on port 5432? 





我 们 需要 检查 iptables (CentOS 或 类 似 的 操作 系统 ) 或 任何 其 他 的 数据 库 服 务 器 上 的 网 络 防火 墙 软件 模块 。 注 意 错误 的 区 
a) (这 个 说 Noroute to host (没有 到 主机 的 路 由 ) ， 而 第 一 个 错误 说 Connection refused (拒绝 连接 ) ) 。 


一 旦 解决 了 网 络 防火 墙 的 问题 ， 我 们 应 该 能 够 连接 了 。 这 里 涉及 了 进程 /监听 地 址 /端口 /网 络 防火 墙 的 检查 。 忌 之 ， 我 们 需 


- 验证 防火 墙 没有 阻塞 端口 
. 检查 是 否 在 指定 的 接口 监听 


| 检查 是 否 正确 获取 了 端口 


11.2 验证 和 权限 问题 


一 旦 通过 了 初始 阶段 ， 下 一 步 的 错误 是 由 pg_hba conf (数据 目录 下 的 主机 认证 文件 ) 条 目 不 正确 或 过失 导致 的 。 该 文件 的 
位 置 和 名 称 可 以 在 postgresql.conf 中 使 用 hba file 参 数 设置 。 


将 看 到 的 最 有 可 能 出 现 的 错误 类 似 以 下 这 个 错误 : 


psqi: FATAL: no pg hba.conf entry for host "192.168.56.1", user 
"postgres", database "postgres" 


该 消息 提 到 了 主机 、 用 户 和 数据 库 。 这 些 正 是 我 们 要 在 pg_hba.conf 文 件 中 提供 的 条 目 。 这 些 条 目 类 似 下 图 : 


t "local" is for Unix domain socket connections only 

local all all trust 
t IPv4 local connections: 

host all all 127.0.0.1/32 trust 
t IPv6 local connections: 

host all all ::1/128 trust 


t Allow replication connections from localhost, by a user with the 
# replication privilege. 
#local , replication. — tgres — — 
replication | postgres | 127.0.0.1/32 
replication postgres |  ::1/128 — 








这 个 标记 为 主机 的 条 目 可 以 是 主机 名 、1IP 地 址 范围 或 特殊 的 关键 字 。 
~ 注意 ， 夫 图 中 大 部 分 行 都 是 注释 ， 因 为 它们 以 # 开 始 。 


为 了 使 更 改 生效 ， 我 们 必须 重新 加 载 配 置 ， 使 用 如 下 命令 : 


pg ctl reload 


现在 我 们 可 以 连接 上 了 。 


在 pg_hba.conf 中 可 以 使 用 非常 具体 的 条 目 ， 如 已 经 使 用 的 ， 指 定 主机 、 用 户 和 数据 库 。 在 现场 部 署 的 情况 下 ， 可 以 对 
Web 服 务 器 (活动 的 和 备份 的 ) 的 IP 地 址 使 用 几 个 条 目 ， 这 些 可 以 用 来 指定 应 用 程序 的 用 户 和 应 用 程序 的 数据 库 ， 并 不 允许 其 
他 的 任何 任务 /人 通过 。 针 对 管理 任务 ， 我 们 可 以 允许 从 本 地 主机 或 一 两 个 其 他 机 器 (DBA 使 用 的 机 器 ) 来 连接 PostgreSQL。 指 
定 主 机 的 IP 地 址 范围 时 ， 我 们 可 以 指定 /32/24/16/0 作 为 IPv4 地 址 的 CIDR 掩 码 ， 从 而 允许 网 络 中 的 多 台 机 器 进行 连接 。 这 个 掩 码 
表示 必须 匹配 客户 端 |P 的 高 阶 位 的 数字 。 如 果 我 们 使 用 32 作 为 1jPv4 地 址 的 掩 码 ，PostgreSQL 只 接受 从 这 个 特定 |P 发 起 的 连接 。 
如 果 我 们 用 0，PostgreSQL 将 接受 所 有 的 IPv4 地 址 的 请 求 。 关 于 Classless Inter-Domain Routing 的 讨论 ， 参 


Falhttp://en.wikipedia.org/wiki/Classless Inter-Domain Routing, 
一 旦 连接 错误 被 解决 ， 会 遇 到 的 新 错误 通 单 如下: 
ERROR: relation "mytb" does not exist 


这 通常 友 生 在 创建 表 时 ， 使 用 大 写 或 小 写字 母 的 组 合并 使 用 了 引号 。 例 如 : 


postgres=> CREATE TABLE "Mytb" ( id INTEGER) ; 
CREATE TABLE 

postgres=> SELECT * FROM Mytb; 

ERROR: relation "mytb" does not exist 

LINE 1: SELECT * FROM Mytb; 


postgres=> SELECT * FROM "Mytb"; 


其 他 常见 的 怀疑 情况 是 ， 对 象 在 另 一 个 模式 中 ，search path 设 置 不 正确 。 
在 某 些 实例 中 ， 你 可 能 会 得 到 以 下 错误 : 

ERROR: permission denied for relation mytb 
这 将 是 一 个 没有 权限 的 问题 。 我 们 可 以 给 予 权 限 并 用 下 列 命 令 检查 它 : 


postgres=> \dp+ mytb 


Access privileges 


Schema | Name | Type | Access privileges | Column access 
privileges 

-------- +------+-------+---------------------------+-------------- 
public | mytb | table | postgres=arwdDxt/postgres+ | 


| | | myuser=r/postgres 


11.3 ”参数 更 改 无 X 


当 我 们 改变 一 个 参数 却 看 不 到 效果 时 ， 有 不 少 可 能 的 原因 。 一 些 参 数 需 要 服务 器 重新 启动 。 在 配置 文件 中 做 如 下 标记 : 


# (change requires restart) 


然后 ， 在 文件 中 更 改 配置 后 ， 通 过 重新 载 入 该 配置 文件 可 以 使 参数 生效 。 重 新 加 载 参数 ， 可 以 使 用 下 面 的 命令 : 


pg ctl reload 


同样 可 以 通过 在 psdql 中 执行 如 下 语句 实现 : 


SELECT pg reload conf () ; 


通过 查询 pg_settings， 我 们 可 以 了 解 使 参数 更 改 生效 是 否 需 要 服务 器 重 局 : 


postgres=# SELECT DISTINCT context FROM pg settings; 
context 


backend 
user 
internal 
postmaster 
superuser 
sighup 


如 果 context 提 到 了 postmaster， 那 么 集群 的 重启 就 是 需要 的 。 然 而 如 果 context 包 括 sighup， 重 新 加 载 pg_ctl 即 可 。 例 
Qp: 


SELECT name, context FROM pg settings WHERE name 
IN ( 'archive command', 'port') ; 


name | context 
-— æ — ew ew ww Sw S| S| S| | S| S| | =| — + 一 一 一 一 一 一 一 一 一 一 一 一 
archive command | sighup 
port | postmaster 


另外 一 个 需要 检查 的 是 我 们 是 否 在 正确 的 文件 中 进行 了 更 改 ” 我 们 可 以 采用 如 下 的 方法 找到 服务 器 使 用 的 文件 : 


postgres=# SHOW config file; 
config file 


/pgdata/9.3/postgresql.conf 


在 某 些 情况 下 ， 当 我 们 有 一 个 无 效 的 参数 值 ，PostgreSQL 会 忽略 这 个 值 并 继续 使 用 默认 值 。 参 考 下 图 中 的 日 志文 件 中 的 条 







































































user-,db- L0G:| parameter "default text search config" changed to “pg catalog.english puch" 
user-[unknown],db-T[unkKnown] LOUG: connection received: Hnost-[local] A EE 
user=postgres,db=postgres LOG: connection authorized: user=postgres database=postores 

user=postgres,db=postgres LOG: duration: 1.000 ms statement: show default text search config; 
user=postgres,db=postgres LOG: disconnection: session time: 6:00:08.159 user=postgres database-postgres host-[local] 
user=,db= LOG: received smart shutdown request 

user=,db= LOG: autovacuum Launcher shutting down 

user=,db= LOG: shutting down 

user=,db= LOG: database system is shut down 

userz,db- LOG: database system was shut down at 2014-12-01 12:04:32 IST 

userz,db- LUG: database system 1s ready to accept connections 

user-,db- LOG: autovacuum launcher started 

user=,db= LOG: received SIGHUP. reloading configuration files —— 

userz,db- LOG: | invalid value for parameter "lc monetary": "en US.UTF-8 Buch" 

user-,db- LOG: | configuration file "/pgdata/98.3/postgresql.conf" contains errors; unaffected changes were applied 
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11.4 ÆA 


有 时 候 ， 我 们 执行 一 个 查询 ， 然 后 等 啊 等 。 什 么 事情 都 没有 友 生 ! FIVER. RERNE, JEU DG 
要 提取 到 我 们 的 结果 呢 ? 是 的 ， 它 可 能 是 一 个 更 新 操作 或 其 他 将 更 改 数据 的 SQL， 我 们 必须 执行 它 。 在 这 种 情况 下 ， 最 好 的 办 法 
是 在 数据 库 中 找 出 友 生 了 什么 。 当 我 们 想 看 到 数据库 中 友 生 了 什么 时 ， 有 一 些 视图 是 非常 有 用 的 。 


p9_stat_activity 视 图 跟 味 数据 库 中 的 所 有 活动 。 请 注意 ， 此 视图 没有 已 完成 的 事务 。 只 有 活动 的 查询 才能 在 这 样 的 视图 中 
检索 到 。 我 们 将 讨论 这 个 视图 中 一 些 重 要 的 列 : 


列 内 容 
datid 和 datname 这 些 列 显 示 的 是 用 户 连 接 到 的 数据 库 名 称 和 数据 库 OID 
这 个 是 为 连接 创建 的 后 端 进程 的 标识 号 . 
pid 当 我 们 使 用 psql 连接 到 PostgreSQL， 有 两 个 相关 的 进程 (我 们 可 以 在 进程 列表 中 看 到 )。 


一 个 是 psql 命令 的 PID ， 另 一 个 是 PostgreSQL 创建 的 后 端 会 话 的 进程 。 它 是 后 端 进 程 的 ID 

当 我 们 使 用 psql 连接 ， 集 群 会 谈 取 psql 信息 。 在 psql 内 ， 我 们 可 以 用 set application_ 
name 来 设置 这 个 名 称 ， 或 当 我 们 使 用 JDBC 连接 ( jdbe:postgresql://host:5435/db?Application- 
Name-TheApp) 时 ， 可 以 把 它 作 为 参数 。 当 有 很 多 使 用 不 同 的 应 用 程序 的 连接 时 ， 设 置 这 个 
值 会 使 它 更 容易 找 出 哪个 应 用 程序 正在 执行 哪个 查询 


application name 


列 内 容 


client addr, 


xl £ 


client hostname, 这 些 都 是 建立 连接 的 客户 端的 属性 


和 client port 
state 这 个 告诉 我 们 ， 后 端 是 活动 的 还 是 空闲 的 
waiting 如 果 这 个 值 是 县 的 ， 那 就 意味 看 它 在 等 待 一 个 锁 
query 这 个 告诉 我 们 正在 执行 的 查询 


让 我 们 看 看 当 碍 询 锁 死 时 ， 这 些 最 重要 的 列 的 值 。 帮 起 三 个 psq| 会 话 连接 到 同一 数据 库 。 在 两 个 连接 中 设置 应 用 程序 名 称 ， 
并 在 第 三 个 会 话 中 开始 等 待 的 事务 ， 并 查看 pg_stat_activity 中 的 数据 : 


gjel: 


pgp=# SET application name = 'lockingclient'; 
SET 
pgp=# BEGIN; 
BEGIN 
pgp=# SELECT * FROM myt FOR UPDATE; 
id 


2 


PETERE 


pgp=# SET application name = 'waitingclient'; 
SET 
pgp-4 SELECT * FROM myt FOR UPDATE; 


. 会 话 3: 参考 下 图 : 


pgp=# SELECT pid ,waiting, query ,state ,application name FROM pg stat activity; 
pid | waiting | state | application name 


------ +---------+-----------------------------------------------------------------------------+---------------------+------------------ 


2362 | f | SELECT * FROM myt FOR UPDATE; | idle in transaction | lockingclient 
1955 | f | SELECT pid ,waiting, query ,state ,application name FROM pg stat activity; | active | psql 

2363) t | SELECT * FROM myt FOR UPDATE; | active | waitingclient 
(3 rows) 





接 下 来 当 查 询 无 响应 时 ， 将 要 使 用 的 重要 视图 是 pg_locks。 它 的 重要 的 列 如 下 表 所 示 : 


内 容 


locktype BA, 全 表 、 页 面 或 元 组 这 是 后 端 进程 的 ID 
database 数据 库 的 OID 这 是 保持 或 请 求 的 锁定 模式 





relation . 表 的 OID 


现在 ， 让 我 们 看 看 如 何 写 一 个 查询 ， 以 获取 进程 中 事务 相关 的 信息 ， 用 以 下 命令 : 


SELECT pl.locktype, pl.mode, pc.relname,pl.pid , psa.state, 
psa.query 

FROM pg locks pl JOIN pg class pc ON pl.relation=pc.oid 
JOIN pg stat activity psa ON pl.pid=psa.pid 

WHERE relname='myt'; 


下 图 襄 明了 前 面 的 命令 : 


| relname | pid 
poe ea qm qo uu E 


relation | RowShareLock | | 2383 | active | SELECT * FROM myt FOR UPDATE; 
relation | RowShareLock | | 2362 | idle in transaction | SELECT * FROM myt FOR UPDATE; 
myt active SELECT * FROM myt FOR UPDATE; 





然而 ， 这 只 给 出 了 系统 中 所 有 锁 的 数据 。 它 不 告诉 我 们 谁 正在 阻塞 谁 。 要 获得 这 个 信息 ， 我 们 需要 使 用 以 下 查询 : 


SELECT waitingl.pid AS waiting pid, 


waiting2.usename AS waiting user, 
waiting2.query AS waiting statement, 
blockingl.pid AS blocking pid, 
blocking2.usename AS blocking user, 
blocking2.query AS blocking statement 


FROM pg locks waitingl 
JOIN pg stat activity waiting2 ON 
waitingl.pid - waiting2.pid 
JOIN pg locks blockingl ON 
waitingl.transactionid = blockingl.transactionid 
AND waitingl.pid != blockingl.pid 
JOIN pg stat activity blocking2 ON 
blockingl.pid = blocking2.pid 
WHERE NOT waitingl.granted; 


下 图 说 明了 前 面 的 命令 : 


waiting pid | waiting user | walting statement | blocking pid | blocking user | blocking statement 


------------- +--------------+-------------------------------+--------------+---------------+------------------------------- 
2383 | postgres | SELECT * FROM myt FOR UPDATE; | 2362 | postgres | SELECT * FROM myt FOR UPDATE; 





这 些 视图 包括 从 数据 库 中 获取 的 信息 ， 什 么 正在 友 生 ， 谁 锁 住 了 谁 ， 等 等 。 当 它 用 来 跟 踊 但 询 正在 做 什么 时 ，PostgreSQL 
视图 中 可 用 的 数据 相当 基础 。 通 常 ， 需 要 进入 下 一 个 层面 ， 即 操作 系统 级 来 查看 正在 友 生 什么 事情 ， 看 看 为 什么 一 个 操作 ( 读 / 
5) 需要 更 多 的 时 间 。 


我 们 将 看 一 些 Linux 的 实用 的 工具 ， 以 查看 操作 系统 级 的 活动 。 


第 一 个 是 strace。 它 跟踪 系统 调用 和 信和 号。 如 果 我 们 有 一 个 查询 ， 看 似 什么 都 没 做 ， 我 们 可 以 得 到 它 的 进程 ID， 做 一 个 
strace。 如 果 我 们 strace 这 个 进程 ， 它 开始 事务 、 获 取 这 个 锁 死 ， 然 后 使 用 COMMIT， 可 以 这 样 strace-p 2362， 如 下 图 所 示 : 


在 输出 里 面 ， 我 们 可 以 看 到 ， 有 打开 、 检 索 和 写 活动 。 这 样 的 输出 为 我 们 提供 了 一 个 更 好 的 万 式 ， 展 示 了 服务 器 如 何 响应 我 
们 的 读 / 写 请 求 。 


当 使 用 中 间 件 (如 pgpool-ll) 且 无 法 连接 的 时 候 ，strace 很 有 8 用。 在 pgpool-ll 中 设置 children 数 量 为 1 然后 在 这 个 进程 中 
运行 strace， 它 会 告诉 我 们 很 多 关于 失败 的 信息 。 对 于 使 用 strace 更 有 趣 的 方式 ,可 参 
考 http://www.thegeekstuff.com/2011/11/strace-examples/。 


一 旦 弄 明 日 数据 在 做 什么 ， 我 们 可 能 想 要 找 出 这 个 问题 /瓶颈 是 在 处 理 器 层面 还 是 企 I/O 层 面 。 可 以 看 到 在 基于 Linux 的 系统 
中 所 友 生 的 事情 的 实用 程序 包括 : 


recvfrom(10, "“Q\O\@\O\vBEGIN;\0",| 8197, © 
gettimeofday(11417433258, 9562739}, NULL) 
gettimeofday((1417433208, 959739}, NULL) 
gettimeofday(11417433258, 966240}, NULL) 
gettimeofday(11417433258, 061740}, NULL) 
write(7, "XOXOGhX0X342XV16X0X0t2014-12-01 16:57:48 IST"..., 113) = 113 
aE ee oe o nea 283241], TE) = p 
sendto(10, "CXGXOXOXnBEG- MI BE) = 
recvTrom(10, "Q\6\0\0* PDATE myt SET name-'a' V *...1] 8197, B, NULL, NULL) = 43 
gettimeofday(11417433277, 132074}, NULL) 
oettimeofday({1l41/43327/7, 132074), NULL) 
k1ll(2623, SIGUSR1L} 
read(31, "XOXOXO8XOXBXBOXDXOXOXOXA4V0X254X0X26030VB \4 X0XOXOYVOXV320X237NXX0X240X237XNXX0",,., 8192) = 8192 
lseek(44, B, SEEK END) 450568 
lseek(44, B, SEEK END) 450560 
open( “base/331880/5/8005 fsm", O0 RDWR) 45 
lseek(45, O, SEEK END) 24576 
lseek(45, O, SEEK SET) e 
read(45, "XOXOXOXOXOXONOXONONOVOVOX39NONO XO V4 XOXONOXOXONOVONONONOXOXNO",.., 8102) = 8192 
lseek[44, 0, SEEK END) = 4505680 
gettimeofday({1417433277, 161084}, NULL) ü 
gettimeofday(11417433277, 162085), NULL) ü 
rite(2, "X0X0X210X0342X16X001t2014-12-01 16:57:57 IST"..., 145) = 145 
gettimeofday([1417433277, 163085}, NULL) = 
sendto(10, "C\O\O0\O\rUPDATE 1\07\8\0\0\5T", 20, 8, NULL, 6) = 20 
recvfrom(10, "Q\O0\O0\9\ COMATTS 10",/|81902, 0, NULL, NULL) = 13 
gettimeofday(1141743328I, T5I5T, NULL) = 
gettimeofday(11417433281, 284515]. NULL ) 
gettimeofday(11417433281, 284515), NULL) = 
rite(41, ec RAS CUNESB YEAR A vA Xn 9680 09000X246X*310, 00000", ,,, 8192) = 8192 
fdatasync(41) | 
gettimeofday(11417433281, 287516], NULL) 0 
gettimeofday({1417433281, 288516), NULL) = 0 
rite(2, “\O\Oj\0\342\16\0\0T2014-12-01 16:58:01 IST"..., 115) = 115 
sendto(9, "\2\0\,0\.0\320\3\0\6h\20\5\0\t\0\0\0\1\0\0\0\1\0\0\0\0\0\0\G\0\0\0\0"..., 076, 0, NULL, 0) = 976 
sendto(9, "«2X0*0*0080X2X0XO0hV 20505000 O0OXOXONOXOXNONONONONDONOX0N0X0N0N0",,.,, 560, 0, NULL, 0) = 560 
gettimeofday({1417433281, 290517), NULL) = 
sendto[(10, "C\G\0\0\vCOMMIT\GZ\0\8\0\51I", 18, 0, NULL, @) = 
recvfrom(10, "Xx0X0X0X4", 8192, 6, NULL, NULL) = 5 
gettimeofday(11417433301, 167412), NULL) = 
gettimeofday(11417433301, 167412), NULL) = 
rite(2, "X6X6X3225X0X342X160012014 - 12- is i 58:21 IST",..., 158} = 158 
exit group(@) 
Frocess 3810 detached 


NULL, NULL) = 12 


n n Ww w= 


uH c» i n m Wy M 





- top 和 htop: top 命 令 以 及 它 更 人 性 化 的 版 本 一 一 htob 擅 长 告诉 系统 运行 的 进程 、 它 们 对 内 存 和 CPU 的 利用 率 ， 以 及 它们 运 
行 的 时 长 。 


“vmstat: 这 个 命令 为 我 们 提供 了 虚拟 内 存 信息 ， 例 如 多 少 内 存 可 用 、 多 少 是 缓存 、 多 少 被 使 用 ， 等 等 。 它 确实 提供 了 有 关 
CPU 利用 率 的 信息 ， 等 待 CPU 时 间 的 进程 ， 等 等 。 


‘vmstat 2: 此 命令 将 保持 每 2 秒 打 印信 息 。 


. iostat: 这 个 工具 提供 了 丰富 的 关于 磁盘 读 / 写 的 信息 。 如 果 我 们 怀疑 正面 临 着 IL/O 瓶 颈 ， 就 应 该 使 用 这 个 命令 。 如 果 我 们 


使 用 iostat 2， 它 每 2 秒 显 示 统 计 。 
mpstat: 这 个 命令 类 似 vmstat 和 iostat (提供 更 多 单个 CPU 或 核心 的 信息 ) 。 


这 些 工 具 与 前 面 的 命令 提供 的 数据 有 很 多 重 晋 之 处 。 然 而 ， 关 于 三 个 可 能 的 问题 : 内 存 问题 、1/O 等 待 或 CPU 瓶 贷 ， 每 一 个 
命令 都 提供 了 更 详细 的 信息 。 这 些 命令 的 例子 和 选项 可 以 参考 http://www.thegeekstuff.com/2011/07/iostat-vmstat- 


mpstat-examples/, 


11.5 小结 


这 一 章 讨 论 了 如 何 解 决 一 些 问题 ， 这 些 问 题 在 PostgreSQL 论 坛 经 常 被 提起 。 虽 然 这 不 是 一 个 详尽 的 问题 清单 ， 这 些 都 是 
PostgreSQL 的 新 手 可 能 会 遇 到 的 问题 。 


下 一 章 将 涵盖 相当 多 的 各 类 话题 : 一 些 特殊 的 数据 类 型 、 分 析 PostgreSQL 日 志 的 工具 和 PostgreSQL 9.4 的 有 趣 功 能 。 


第 12 章 PostgreSQL 领 外 功能 


在 前 面 的 章节 中 ， 我 们 看 到 了 如 何 排除 PostgreSQL 新 人 面 对 的 初级 小 问题 。 也 讨论 了 一 些 视 图 和 Linux 工 具 ， 在 查询 没有 上 反 
应 的 情况 下 ， 这 些 可 以 帮助 用 户 找 出 问题 。 


本 章 将 涵盖 多 个 主题 。 我 们 会 看 一 些 有 用 的 ， 但 不 是 常用 的 数据 类 型 。 还 将 讨论 一 个 极 好 的 第 三 万 工具 pgbadger， 它 可 以 
查阅 PostgreSQL 的 日 志 。 这 个 工具 可 以 告诉 我 们 很 多 关于 集群 中 正在 上 友 生 的 事情 。 同 时 ， 也 将 介绍 一 些 关 键 的 功能 ， 它 们 是 
PostgreSQL 9.4 版 本 的 一 部 分 。 最 后 我 们 也 将 讨论 一 些 有 用 的 扩展 。 


12.1 有趣 的 数据 类 型 


首先 将 从 数据 类 型 开始 。PostgreSQL 有 所 有 数据 库 常见 的 数据 类 型 。 它 们 包括 : 
数字 数据 类 型 (smallint、integer、bigint、decimal、numeric、real 和 double) 
字符 数据 类 型 (char, varchar. text) 
“二进制 数据 类 型 
日 期 /时 间 数 据 类 型 (包括 date、timestamp without timezone. timestamp with timezone) 
布尔 数据 类 型 (BOOLEAN) 


然而 ， 这 是 所 有 标准 的 类 型 。 让 我 们 先 看 一 看 RANGE 数 据 类 型 。 


ZIK pya -d- 
12.2 ”变化 中 的 产品 特性 
PostgreSQL 各 个 版 本 特点 的 变化 有 一 个 极 佳 快照 ， 可 以 在 http://www.postgresql.org/about/featurematrix/ 获 得 。 通 过 
久 选 出 版 本 8.0、9.0 和 9.4， 可 以 快速 了 解 它 们 的 功能 是 如 何 被 添加 到 数据 库 中 的 。 
9.4 版 本 中 的 有 趣 特 征 


每 一 个 PostgreSQL 版 本 都 会 增加 许多 功能 ， 它 们 被 分 为 不 同 的 类 别 (如 性 能 、 后 台 、 数 据 类 型 等 ) 。 接 下 来 看 几 个 有 意思 


的 特征 (因为 它们 帮助 提高 性 能 或 它们 使 维护 和 配置 变 得 简单 ) 。 
使 缓冲 区 保持 准备 状态 

如 前 所 述 ， 从 磁盘 读 取 相 比 于 从 内 存 读 取 需 要 更 大 的 开销 。 人 在 相当 多 的 场合 下 ， 磁 盘 读 取 是 不 可 避免 的 。 让 我 们 看 几 个 例 
Te 


在 数据 仓库 中 ， 提 取 、 变 换 、 加 载 (ETL) 过 程 可 能 每 天 发 生 一 次 ， 它 们 通常 涉及 在 内 存 中 人 处理 大 量 的 原始 数据 ， 然 后 将 结 
果 加 载 到 最 后 的 表 中 。 此 数据 主要 是 事务 数据 。 不 经 常 处 理 的 主 数据 ， 作 为 结果 可 能 被 移 出 内 存 。 


报告 通 音 取决 于 主 数据 。 当 用 户 在 ETL 之 后 更 新 他 们 的 报告 时 ， 主 数据 很 可 能 从 磁盘 中 被 读 取 ， 从 而 导致 啊 应 时 间 下 降 。 如 
果 我 们 能 够 确保 主 数据 以 及 最 近 处 理 的 数据 在 缓冲 区 中 ， 融 可 以 真正 提高 用 户 体 验 。 


在 《机 订 票 系统 这 样 的 事务 处 理 系统 中 ， 改 变 票 价 规则 可 能 会 导致 众多 的 票 价 被 重新 计算 。 类 似 于 前 面 搞 述 的 情况 ， 确 保 在 
缓冲 区 中 放置 最 经 单 搜索 的 票 价 和 可 能 用 到 的 数据 能 提供 更 好 的 用 户 体 验 。 这 也 适用 于 电子 商务 网 站 销售 的 产品 。 如 果 产 品 / 价 
格 /库存 数据 总 是 在 内 存 中 ， 可 以 确保 它们 被 快速 检索 。 


那么 ， 如 何 才 能 确保 数据 在 缓冲 区 中 可 用 呢 ? pg_prewarm 模 块 是 可 以 提供 这 种 功能 的 扩展 。 基 本 的 语法 很 简单 : SELECT 
pg prewarm (tablename') ;。 该 命令 将 数据 从 表 中 填充 到 缓冲 区 。 它 也 可 以 声明 应 该 被 从 表 中 加 载 到 缓冲 区 中 的 数据 块 。 


马尾 须 使 用 PostereSQL 9.4， 才 能 使 用 以 下 各 节 的 代码 。 


我 们 将 在 数据 库 中 安 半 这 个 扩展 ， 创 建 一 个 表 ， 并 填充 一 些 数据 。 然 后 ， 我 们 将 停止 服务 器 ， 丢 掉 缓 冲 区 (操作 系统 的 ) , 
并 重新 启动 服务 器 。 我 们 可 以 看 到 SELECT count (*) 需要 多 少时 间 。 重 复 这 个 练习 ， 但 会 在 执行 SELECT count (*) 前 使 用 
pg_prewarm， 在 psql 中 进行 如 下 操作 : 


CREATE EXTENSION pg prewarm; 
CREATE TABLE myt (id SERIAL, name VARCHAR (40) ) ; 
INSERT INTO myt (name) SELECT concat (generate series(1,10000),'name') ; 


现在 ， 在 shell 命 令 行 中 使 用 pg_ctl 停 止 服务 : 


pg ctl stop -m immediate 


在 shell 命 令 行 中 使 用 如 下 命令 清除 操作 系统 的 缓冲 区 (需要 使 用 sudo 来 完成 ) : 
echo 1 > /proc/sys/vm/drop caches 

该 命令 可 能 会 根据 不 同 的 操作 系统 而 有 所 不 同 。 使 用 pg_ctl 重 新 局 动 群集 。 

然后 ， 执 行 以 下 命令 : 


SELECT COUNT (*) FROM myt; 
Time: 333.115 ms 


重复 这 样 的 步骤 : 停止 服务 器 ， 丢 弃 缓 存 并 启动 PostgreSQL。 然 后 在 执行 SELECT count (*) 前 使 用 
pg prewarm (myt ) ; 


响应 时 间 明 显 下 降 。 执 行 pg_prewarm 确 实 需要 一 些 时 间 ， 这 个 时 间接 近 针 对 冷 缓 仓 执行 select count (*) 的 时 间 。 然 
而 ， 目 标 是 确保 用 户 不 会 体验 到 延迟 。 


SELECT COUNT (* ) FROM myt ; 
count 


(1 row) 
Time: 7.002 ms 


更 好 的 可 恢复 性 


新 的 参数 recovery_min_apply_delay 已 加 入 9.4 版 本 中 。 这 个 参数 会 在 从 服务 器 的 recovery.conf 文 件 中 找到 。 有 了 这 个 参 
数 ， 我 们 可 以 控制 从 服务 器 上 事务 的 再 次 执行 。 可 以 将 此 设置 为 5 分 钟 左 右 ， 然 后 在 主 服务 器 提交 时 间 过 去 5 分 钟 后 ， 待 机 系统 
将 重新 执行 该 事务 。 当 遇 到 从 错误 中 恢复 的 情况 ， 这 提供 了 更 多 的 灵活 性 。 当 把 这 个 值 设 定 为 1 小 时 的 时 候 ， 主 服务 的 变化 将 在 
一 小 时 后 在 从 服务 器 再 次 执行 。 如 果 我 们 意识 到 主 服务 器 上 出 了 问题 ， 就 有 大 约 1 小 时 来 停止 事务 的 再 执行 ， 导 致 问题 的 动作 
(例如 ， 意 外 删除 一 个 表 ) 就 不 会 在 从 服务 器 再 执行 。 


ALTER SYSTEM 命 令 人 在 这 个 版 本 已 经 被 引入 ， 这 样 我 们 不 需要 编辑 postgresql.conf 融 可 以 改变 参数 。 该 条 目 将 被 放 到 一 个 
文件 名 为 postgresql.auto.conf 的 文件 中 。 我 们 可 以 执行 ALTER SYSTEM SET work mem='12mb'; 然 后 在 psql 中 检查 文件 : 


\! more postgresgl.auto.conf 

# Do not edit this file manually! 

# It will be overwritten by ALTER SYSTEM command. 
work mem = '12MB' 


我 们 必须 执行 SELECTpg reload conf(); 来 确保 更 改 生效 。 
逻辑 解码 和 更 改 的 消耗 


9.4 版 本 引入 了 物理 和 逻辑 的 复制 槽 。 我 们 将 看 看 逻辑 槽 ， 它 们 允许 我 们 跟踪 更 改 ， 并 过 滤 具 体 的 事务 。 这 样 的 功能 允许 我 
们 挑选 和 选择 已 提交 的 事务 。 我 们 可 以 抓 住 某 些 更 改 、 解 码 并 可 以 在 远程 服务 器 重复 执行 它们 ， 从 而 不 必 执 行 全 部 复制 或 全 部 不 
复制 。 目 前 ， 不 使 用 这 个 功能 ， 将 要 做 大 量 的 工作 来 解码 /移动 更 改 。 

为 了 设置 此 项 ， 必 须 更 改 两 个 参数 。 如 下 所 示 : 

max_replication_slots 参 数 (至 少 设置 为 1) 和 wal_level 参 数 (设置 为 logical) 。 然 后 ， 我 们 可 以 连接 到 数据 库 ， 创 建 一 个 
feste NP: 

SELECT * FROM 


pg create logical replication slot('myslot','test decoding') ; 


第 一 个 参数 是 模 的 名 字 ， 第 二 个 是 要 使 用 的 插件 。test decoding 是 可 用 的 示例 插件 ， 它 可 以 将 WAL 条 目 转换 为 文本 ， 如 下 
Pa: 


INSERT INTO myt(id) values (4); 
INSERT INTO myt (name) values ('abc') ; 


现在 ， 我 们 将 去 试 检索 这 些 条 目 : 


SELECT * FROM pg logical slot peek changes ('myslot',NULL,NULL) ; 


然后 ， 检 查 下 图 : 


Location | xid 

III 

0/17F9178 | 

0/17F9178 9 | table public.myt: INSERT: ic[integer]:4 name[character varying]:null 


O/17F91F8 18. COMMIT 1820 
O/17F92F0 J BEGIN 1821 
0/17F92F0 table public.myt: INSERT: id[integer]:10003 name[character varyingl:'abc' 
0/1/F9378 | COMMIT 1821 





这 个 函数 让 我 们 看 到 这 个 更 改 ， 而 不 消耗 它们 ， 这 样 可 以 再 次 访问 这 个 更 改 操作 : 


SELECT * FROM pg logical slot get changes('myslot',NULL,NULL) ; 


在 下 图 显示 : 


STATEMENT: SELECT * FROM pg logical slot get changes('myslot',NULL,NULL); 


Q/17F9178 BEGIN 1820 

0/17F9178 table public.myt: INSERT: id[integer]:4 name[character varying] :null 
0/17F91F8 | COMMIT 1826 

0/17F92F0 | 1821 | BEGIN 1821 

0/17F92F0 | table public.myt: INSERT: id[integer]:10003 name[character varyingl:'abc' 
0/17F9378 2 COMMIT 1821 


larm=# SELECT * FROM pg logical slot get changes('myslot',NULL,NULL) ; 
LOG: starting logical decoding for slot myslot 
DETAIL: streaming transactions committing after 0/17F94580, reading WAL from 0/17F91F8 
STATEMENT: SELECT * FROM pg logical slot get changes('myslot' ,NULL,NULL) ; 
logical decoding found consistent point at 0/17F91F8 
: running xacts with xcnt == 0 
STATEMENT: SELECT * FROM pg logical slot get changes('myslot',NULL , NULL ) ， 
location | xid | data 
mu mom momo momo m = a m mom mm om Ses mmm 





此 功能 类 似 于 peek 功 能 ， 但 这 些 更 改 将 不 再 被 使 用 ， 因 为 它们 被 消耗 挥 了 。 


12.3 小结 


本 草 讨 论 了 一 些 数 据 染 构 师 党 得 有 趣 的 数据 类 型 ， 还 讨论 了 最 佳 的 能 产生 优秀 报告 的 PostgreSQL 日 志文 件 分 析 工 具 。 我 们 
还 看 了 PostgreSQL 9.4 版 本 的 一 些 有 趣 的 功能 ， 这 都 将 是 数据 架构 师 感 兴趣 的 。 


